關於顯著性檢測的思考

2021-07-05 14:56:46 字數 996 閱讀 6691

梳理visual saliency

的定義,視覺顯著性是乙個主觀目標,既有自上而下的任務驅動的注意機制,全域性的拓撲認知,也有自下而上的基於區域性特徵的多層次融合機制。因此顯著性也是乙個從主觀上定義,客觀上驗證該定義的視覺過程。因此顯著性的定義上從主觀上是任務驅動的視覺搜尋過程,這個過程**的是注意機制和眼動機制,客觀上是人眼經過多年進化對頻域(

frequency-domain

)和色度空間(

hsv,

lab)中特定區域的響應權重,以及特徵稀疏性(

context and center

)的自然關注和非條件反射意義上的關注。可以結合這兩點對視覺顯著性的定義進行創新或者基於已有的定義略加調整,對特定資料集的特定方法上有所突破。

現有的關於影象分割的資料庫,乙個是bsd

(berkeley segmentation dataset

)對自然影象中的景物分割有比較全面的分類和

ground truth

的資料集。結合上學期老師讓同學實現的

random walk for superpixel segmentation

的**,對這些資料集的超畫素分割進行簡單的實驗。因為這部分**可以作為除了區域性特徵(特徵點)和全域性拓撲,任務驅動的視覺搜尋以外的中間層面的參照,提供關於超畫素分割層級的特徵級依據。

除了顯著性的定義層面以外,人眼視覺在之顯著性和輪廓提取中所起的作用,除了「前端」收集畫素,區域性特徵和色域空間以外,更重要的是人腦中對視覺過程的抽象和編譯碼機制,馬爾將這一視覺過程總結為三個構成部分的框架,1d-primal-sketch

,2d-su***ce-orientation

, 3d-model-representation

,除了視覺的層次性在這裡被強調以外,馬爾框架更強調的是這一視覺模型的計算特性。因此參考實驗室以前做影象風格化的部分成果,在

image-abstraction

方面希望能找到人眼視覺在影象理解方面的「後台」特性,作為對大量影象的抽象機制的乙個參照。

顯著性檢測評價指標

m為二值化的顯著 圖,g為ground truth.通過設定閾值得到二值化的顯著 圖m,通過上式計算得到一對precision,recall 所有的p,r取平均 閾值取值為0 255.這樣,不同的閾值,對應不同的p r對,總共有256個p r對。以p為縱座標,r為橫座標,構成p r曲線。參考 2一般...

顯著性檢測 2017(ICCV, CVPR)

dss網路結構如下 在測試時為了得到更好的效果,只使用2,3,4層的side out來混合。final輸出如下 另外,還使用crf作為post process 修正邊界。crf的實現借助開源包pydensecrf。因為只有兩類,所以直接用crf得到的每個畫素顯著的後驗概率作為顯著 值,構成顯著 圖。...

顯著性檢測學習筆記(一)

基於均值漂移分割的顏色顯著性模型xu liu,zengchang qin1,xiaofan zhang,and tao wan,2013 ieee 基本的流程圖如下 1 基於qdct係數求rk的品均顯著值公式為 rk 表示區域的總共的畫素值,得到大致顯著圖m,通過大致顯著圖得到前景p f 和背景p ...