上一章說到了通過識別目標的特徵來設計相應的規則來提取識別目標的可疑區域,並通過火焰識別的列子進行了詳細的說明,本章節主要說明如何通過機器學習與深度學習的方法進行可疑區域的提取。
火焰的顏色特徵可以通過機器學習分類器如k-nn、樸素貝葉斯等通過訓練相應的火焰顏色樣本集構建火焰顏色模型,然後通過訓練好的顏色模型提取出火焰候選區域。除此以外,機器學習的聚類演算法也可以應用在構建火焰顏色模型上,通過火焰畫素點在空間的分布得到該類的空間範圍,通過判斷畫素點是否在該空間範圍來判斷是否為火焰畫素點。但是火焰的顏色空間跨度很大,難免會與其他物體的顏色存在重合,比如夜晚的路燈、黃昏的太陽等,這些物體總有部分滿足火焰的顏色模型
上圖是火焰畫素點的三維分布圖,通過這些火焰畫素樣本訓練高斯混合模型找到其高斯分量的中心,再將以該中心畫圓,圓的半徑為樣本的標準差
神經網路檢測火焰候選區域主要有兩種方法:區域生成網路和語義分割。
(1) 區域生成網路
最具代表的區域生成網路便是faster region-cnn(faster r-cnn)中的region proposal network (rpn)模組。在faster r-cnn中,原始通過公共的卷積神經網路會生成維度為(256,h,w)的特徵圖,該特徵圖的每個點都對應原始影象中的一塊區域。rpn就是將這些區域設為錨點,每塊區域預設9個不同尺度的預選框,然後剔除超過原影象邊界以及重疊度較高的預選框。與此同時,將特徵圖經過乙個(3,3)的卷積,再分別通過兩個(1,1)的卷積,得到維度為(2k,h,w)與(4k,h,w)的特徵圖,這裡k為每個錨點設定的預選框個數。第乙個特徵圖用來判斷預選框中是前景還是背景,是前景則保留預選框。第二個特徵圖是針對原影象上所生成的預選框座標的偏移,使預選框盡可能包含整個物體,最後輸出剩餘所有的預選框,得到候選區域如圖:
(2) 語義分割
語義分割是通過神經網路判斷哪些是前景哪些是背景,然後輸出判斷後的影象,其中比較典型的便是u-net。u-net採用encode(編碼)+decode(解碼)的結構,如圖:
該網路先對維度為(3,h,w)的影象進行4次下取樣,再進行上取樣,用之前的低層特徵圖,與上取樣後的特徵圖進行融合,重複上取樣和融合過程直到得到與輸入影象尺寸相同的分割圖,輸出結果圖的維度為(1,h,w),最後通過sigmoid()函式將數值化為(0,1)區間。 實驗結果如圖:
雖然效果不錯,但是該方法很依賴訓練集。如下圖:
這兩幅圖的場景並不在訓練集中,其檢測出很多干擾項,這不利於後續網路的識別,嚴重影響程式的執行效率。具體**可以參考u-net語義分割
上一章
車位檢測識別系統
在每個車位安裝識別車牌和判別是否有車的車位攝像機,通過統計反饋到外部的指示螢幕,這樣既實現了車位引導的功能,也實現了車牌號和車位對應的對位停車功能。因為系統已準確記錄了各車位的車牌號碼,所以輸入車牌號進行反向尋車的功能便應運而生,而且省略了泊車者人工標記位置的繁瑣,大大增強了系統的實用性。系統優點 ...
入侵檢測之基於主機入侵檢測系統
一般主要使用 作業系統的審計 跟蹤日誌 作為資料來源,某些也會主動與主機系統進行互動以 獲得不存在於系統日誌中的資訊 以檢測入侵。這種型別的檢測系統不需要額外的硬體 對網路流量不敏感,效率高,能準確定位入侵並及時進行反應,但是占用主機資源,依賴於主機的可靠性,所能檢測的攻擊型別受限。不能檢測網路攻擊...
基於智慧型燈桿的行人檢測與識別
隨著城市居住人口增加和市區面積擴大,城市公共安防治理的範圍和難度也相應擴大增加,傳統的方式是加大監控攝像頭的覆蓋來擴充套件城市安防感知網路,但由於監控的事態響應與查閱工作多數仍然依靠人工來完成,不但人力耗費巨大,還存在響應慢,耗時久的缺陷。智慧型路燈杆搭配智慧型監控系統,是智慧型路燈杆新基建的典型創...