在計算機視覺中，影象分割是個非常重要且基礎的研究方向。簡單來說，影象分割（image segmentation）就是根據某些規則把中的畫素分成不同的部分（加不同的標籤）。
影象分割中的一些常見的術語有：superpixels（超畫素）、semantic segmentation（語義分割）、instance segmentation（例項分割）、panoptic segmentation（全景分割）。他們之間到底有什麼區別呢？如果你對這幾個術語非常了解了，那麼恭喜你！可以直接把文章拖到結尾，順手點個廣告，就可以返回了（笑）。
不過很多剛接觸這個領域的同學有點搞不太清楚上面的區別，那麼跟我一起來學習一下吧！
superpixels（超畫素）
第一次聽說這個超畫素很容易理解錯誤，以為是在普通的畫素基礎上繼續像微觀細分，如果這樣理解就恰好理解反了，其實超畫素是一系列畫素的集合，這些畫素具有類似的顏色、紋理等特徵，距離也比較近。用超畫素對一張進行分割的結果見下圖，其中每個白色線條區域內的畫素集合就是乙個超畫素。需要注意的是，超畫素很可能把同乙個物體的不同部分分成多個超畫素。
超畫素最早的定義來自2023年 xiaofeng ren等人的一篇**《learning a classification model for segmentation》。
其中超畫素中比較常用的一種方法是slic（****** linear iterative clustering），是achanta 等人2023年提出的一種思想簡單、實現方便的演算法，將彩色影象轉化為cielab顏色空間和xy座標下的5維特徵向量，然後對5維特徵向量構造距離度量標準，對影象畫素進行區域性聚類的過程。slic演算法能生成緊湊、近似均勻的超畫素，在運算速度，物體輪廓保持、超畫素形狀方面具有較高的綜合評價，比較符合人們期望的分割效果。
semantic segmentation（語義分割）
語義分割還是比較常見的，就是把影象中每個畫素賦予乙個類別標籤（比如汽車、建築、地面、天空等），比如下圖就把影象分為了草地（淺綠）、人（紅色）、樹木（深綠）、天空（藍色）等標籤，用不同的顏色來表示。
不過這種分割方式存在一些問題，比如如果乙個畫素被標記為紅色，那就代表這個畫素所在的位置是乙個人，但是如果有兩個都是紅色的畫素，這種方式無法判斷它們是屬於同乙個人還是不同的人。也就是說語義分割只能判斷類別，無法區分個體。
但很多時候我們更需要個體資訊，想要區分出個體怎麼辦呢？繼續往下看吧
instance segmentation（例項分割）
例項分割方式有點類似於物體檢測，不過物體檢測一般輸出的是 bounding box，例項分割輸出的是乙個mask。
例項分割和上面的語義分割也不同，它不需要對每個畫素進行標記，它只需要找到感興趣物體的邊緣輪廓就行，比如下圖中的人就是感興趣的物體。該圖的分割方法採用了一種稱為mask r-cnn的方法。我們可以看到每個人都是不同的顏色的輪廓，因此我們可以區分出單個個體。
panoptic segmentation（全景分割）
最後說說全景分割，它是語義分割和例項分割的結合。如下圖所示，每個畫素都被分為一類，如果一種類別裡有多個例項，會用不同的顏色進行區分，我們可以知道哪個畫素屬於哪個類中的哪個例項。比如下圖中黃色和紅色都屬於人這乙個類別裡，但是分別屬於不同的例項（人），因此我們可以通過mask的顏色很容易分辨出不同的例項。
現在是不是對這幾個術語了然於胸了呢！
原文發布時間為：2018-11-27
語義分割 例項分割 全景分割的關係和區別
這三者的區別請參考超畫素 語義分割 例項分割 全景分割 傻傻分不清？簡單來說 1.語義分割是最簡單的，對每個畫素做分類，比如說將這幅影象分為人和汽車。但是具體有三個人，無法對這三個人做具體區分。注意是每乙個畫素點，不分前景 背景。2.例項分割是在語義分割的基礎上，對這三個人做具體區分，分出甲 乙 丙...
語義 例項 全景分割概念理解
語義分割 semantic segmentation 對影象中的每個畫素打上類別標籤，如下圖，把影象分為人 紅色 樹木 深綠 草地 淺綠 天空 藍色 標籤 例項分割 instance segmentation 目標檢測和語義分割的結合，在影象中將目標檢測出來 目標檢測 然後對每個畫素打上標籤 語義分...
Mean shift超畫素分割
mean shift超畫素分割 超畫素概念 超畫素是指具有相似紋理 顏色 亮度等特徵的相鄰畫素構成的影象塊。是通過影象分割獲取的小區域，但是超畫素中往往存在過分割。現有的超畫素分割方法 l 基於圖論的超畫素分割方法 1.normalized cuts演算法 該演算法的特點是產生的超畫素較為規則，但其...