Segmentation分割總結

2021-09-25 19:27:20 字數 1705 閱讀 9363

(一)語義分割與例項分割的區別:

在深度學習層面,分割任務都是畫素級任務,語義分割標籤數量固定,本質是對於每個畫素的分類問題。

而例項分割需要分辨出每個例項,類別其實是不確定的,所以不能算作分類問題。

(二)現階段例項分割的主要分支

1.proposal-based method

基於區域的二階段方法:是現階段精度最高的例項分割方法,首先通過目標檢測模型發現感興趣的區域,之後在這個區域裡進行分割。主要包括maskrcnn、panet、htc(hybrid task cascade)

基於區域的一階段方法:為了彌補一階段在目標檢測中空白,湧現了一波基於一階段目標檢測的例項分割方法,但在精確度和速度之上都沒有決定性的優勢,不像yolov3能夠實現實時的目標檢測,一階段的例項分割方法僅能提高一些速度,主要包括retinamask

2.proposal-free method

該類方向想要脫離區域限制,主要因為基於區域的例項分割方法在分割物體邊界上不占有優勢,使得邊界不夠精確,同時速度也受到很大的限制,因此提出了porposal-free方法。該類方法主要採用embedding的思想,將原來的空間對映到embedding空間(比如對映到d維向量),可以認為是將每個畫素轉化為乙個向量,使得屬於相同例項的向量相似度大一些,距離近。不同例項相似度小,距離遠。思想有點類似於triplet loss。然後在對生成的向量進行分組聚類實現例項分割。目前主要的方法有:更改損失函式的(semantic instance segmentation with a discriminative loss function)、更改cnn結構的(semi-convolutional 消除cnn網路的平移不變性)、讓網路自我學習的(assciative embedding)等等。

(三)目前面臨的困難與挑戰

1.實時性

現在很少有例項分割能夠實現實現實時,我知道的大概有yolact

2.遷移

如何能將語義分割中比較好的結構和框架應用至例項分割中

(四)例項級人體細粒度分割

instance-level human parsing/instance-level human analysis/dense pose estimate

來自於human parsing(人體細粒度語義分割,其實人體細粒度語義分割本質上就是語義分割,分類任務,為了引入人的結構特點,形態學束縛,所以一般會引入pose estimate).

除了對人進行例項級分割外,還提供對人的頭髮,上衣等細粒度進行分割。主要包括parsing rcnn、pgn(instance-level human parsing via part grouping network [no-detection method])

densepose也相當於人體部分分割

(五)分割的各類指標

1.引一下寫的比較好的部落格

補充:overall iou:指所有**與gt交集的和除以**與gt的並集

mean iou:指每張的**與gt交集除以**與gt並集的平均值

其中miou和ap指標主要對分割內部畫素敏感,對於邊界的正確率的提高並不敏感。

(the standard intersection-over-union based metrics for these tasks (mask ap and miou) are biased towards object-interior pixels and are relatively insensitive to boundary improvements.)

Segmentation 傳統分割演算法

本文將繼續介紹常見的影象處理演算法之影象分割演算法,影象分割是從影象中找出目標所在的區域,把影象分成若干個特定的 具有獨特性質的區域並提出感興趣目標的技術和過程。下圖是影象分割的兩個例子,分別從原始影象中分割出花和人物。其實簡單理解,通常情況下影象分割就是去除影象背景提取感興趣區域的過程。基於閾值的...

python檔案分割,列表分割

python分割檔案或列表作為多執行緒,多程序輸入 path為檔案路徑,n每個分割塊的大小 import pandas as pd def split file path,n df pd.read table path,iterator true loop true chunks while loo...

語義分割 例項分割 全景分割的關係和區別

這三者的區別請參考超畫素 語義分割 例項分割 全景分割 傻傻分不清?簡單來說 1.語義分割是最簡單的,對每個畫素做分類,比如說將這幅影象分為人和汽車。但是具體有三個人,無法對這三個人做具體區分。注意是每乙個畫素點,不分前景 背景。2.例項分割是在語義分割的基礎上,對這三個人做具體區分,分出甲 乙 丙...