顯著檢測學習總結3

顯著檢測—context-aware

基於上下文的顯著檢測是goferman於2023年提出的一種新的顯著檢測概念，它和之前的itti的顯著性的定義有一定區

別。他認為在諸如影象分類的任務中我們不但要關注顯著的物體而且也要關注到部分的能夠傳遞文字資訊的背景。

人眼在關注顯著區域的同時也會順帶關注其周圍的部分背景區域以獲得對整幅場景的文字認知。

基於上下文的顯著檢測所基於的原理：

1.區域性底層特徵，包括對比度和顏色，對於顯著性的影響。

2.全域性的考量，將出現頻率較高的特徵壓縮而保留有獨特結構的部分。視覺中存在稀疏特性，在編碼時花更多的代價去處理有較豐富資訊的區域。

3.視覺組織規則表明視覺形式可以擁有乙個或者多個中心，即視覺形式是一種分布式的結構。

4.高層的對於顯著物體的位置和型別的先驗資訊對於顯著檢測至關重要。這種形式的資訊可以認為是一種top-down的有監督學習模型，在獲得顯著物體的樣本情況下可以指導顯著檢測。

模型框架：

在特定的層次下用區域性塊來表示各位置所蘊含的結構資訊，對於每乙個塊尋找與之相近的k個近鄰，作為顯著性的競爭物件。利用如下公式來描述塊與塊在位置和顏色資訊綜合作用之下的不相似程度。

每乙個塊的顯著程度最後是由以上k個度量值按照下面的公式綜合而得到的，這在平均的不相似度和顯著性之間建立起了一種漸進的關係。

在多個塊規模之下重複以上過程，實現在不同層次上對顯著性的度量。最後將多個層次上的結果融合後便得到了第一階段的顯著圖結果。

根據gestaltlaws，在視覺注意點的附近區域會連帶受到一定程度的關注，所以第二階段旨在在以上基礎上對結果做一定程度的修正。先通過閾值將所有點硬性分為顯著點和非顯著點，對於非顯著點尋找離它最近的顯著點，並按照如下的公式重新調整其顯著值。

由於在拍攝**的時候，我們往往會將顯著物體放在影象的中心周圍，所以每個位置相對於中心的空間距離也能對顯著性起到一定程度的作用。此階段在上一階段的基礎上進一步設計了2維高斯圖來模擬此中心先驗。

最後作者考察了所選引數變化時對於顯著檢測結果的影響和利用gpu來克服尋找k近鄰過程的計算複雜度。當然，也有

其餘的一些討論和應用，此處不再羅列。

實驗結果

顯著檢測概念的擴充套件並沒有帶來更多實質上的變化，或許最本質的變化是把顯著區域周圍的部分背景也包括到顯著區域中來了，使得顯著性的定義產生了一定程度的混亂。本文還是和itti等方法做了比較，說明其最終落腳點還是傳統的顯著性。本方法在很多情況下有比較好的效能，但是也不能避免對於邊緣的突出方面的瑕疵。