初識語義分割

2021-10-11 21:38:34 字數 933 閱讀 3467

正式接觸語義分割應該是2023年3月份左右的事情了。在此之前,作為一名遙感專業的學生,我所接觸最多的和語義分割相關的詞應該是遙感影象分類。遙感常應用於進行大面積土地利用調查,因此給定一幅遙感影象,需要按照建築物,地面,農田,河流等地面場景將其劃分為不同的類別,這與語義分割的目標是完全一致的,只不過應用場景是俯瞰場景的遙感或者航空影像。

我至今還保留著本科的《遙感原理與應用》這本書,這本書、這門課算得上是我至今相關知識體系的起點。從成像原理、數字影象、影象幾何校正、輻射校正、人工判讀、*計算機自動識別(傳統影象分割)再到其應用,像每乙個遙感新生傳授簡約而富有邏輯的知識體系。

正如影象分割經歷了從單畫素分類到畫素塊分類以及目前的全卷積網路分類,遙感影象分類亦是如此。

(1)最開始是提取單個畫素的特徵,並利用機器學習演算法如邏輯回歸、svm等進行逐畫素分類;由於早些年遙感影象解析度比較低(乙個畫素代表地面可能30m*30m的物體),這種利用單畫素的特徵進行分類的方法也大概可以滿足需求(能看)。

(2)隨著遙感感測器解析度的提公升,之前的單畫素分類的方法就無法滿足精度需求了,如下圖,相同類別的畫素可能具有差異較大的顏色(光譜亮度),而不同類畫素之前也存在相近的顏色,這在遙感中稱之為同物異譜和異物同譜現象;此時誕生了基於超畫素(畫素塊)的方法,首先對影象進行超畫素分割,進而對超畫素塊進行特徵描述(特徵顏色、形狀、紋理等),最後送入分類器中,超畫素塊中的每個畫素共享分類**結果,這在遙感中稱之為物件導向分類。物件導向分類有乙個比較著名的軟體:ecognition(易康)。

(3)再往後就出現了cnn和fcn這一類深度學習方法,這也是目前學界和工業界最熱門的方法,接下來一些文章會對這一部分進行重點描述。

除了遙感影象分類之外,影象分割也有著極其廣泛的作用,如自動駕駛場景分割,醫學影象分割,人像分割,工業場景分割等。

語義分割綜述

目前語義分割的流行框架可以分為前端 後端。前端採用fcn定位不同類別的物體,後端採用rf crf mrf 精確定位物體邊界。也就是說,前端解決 是什麼 what 後端解決 在 where 可以把語義分割網路分為兩類 以fcn為代表的編解碼器 encode decode 網路 以deeplab為代表的...

語義分割概述

影象語義分割 一 影象語義分割含義及原理 含義 對分割後的影象加上語義標籤 用不同的顏色代表不同類別的物體 就是給分割後影象中的每一類物體加上標籤,輸入一般是彩色深度 rgb d 影象。要求 1 分割得到的不同區域內部平整,其紋理和灰度有相似性 2 相鄰語義分割區域對分割所依據的性質有明顯的差異 3...

語義分割概述

本文大多來自方便讀 使用 影象語義分割 semantic segmentation 從字面意思上理解就是讓計算機根據影象的語義來進行分割,例如讓計算機在輸入下面左圖的情況下,能夠輸出右圖。語義在語音識別中指的是語音的意思,在影象領域,語義指的是影象的內容,對意思的理解,並對不同部分進行標註,圖中紅色...