點雲處理(2) 基於RGB值特徵檢測的點雲分割演算法

2021-10-01 21:07:59 字數 1248 閱讀 1303

tips:本文已在專案中應用,若對本方法比較認可和熟悉,可通過了解「0. 應用描述」和「1. 演算法理論」部分完成自己的演算法。

通過深度相機採集到彩色影象(rgb.png)和深度影象(depth.png),並且兩張是畫素對準的,由此可得到資料型別為pcl::pointxyzrgb的點雲資訊(png格式的深度影象轉pcd點雲格式(c++))。在進行點雲分割時,往往因為兩個物體挨得太緊而無法進行分割。一般而言,特徵處點雲並不見得是有特別明顯的點雲特徵,所以基於點雲聚類分割的方法將不容易完成分割。但是,往往特徵處的rgb值相比於非特徵處是有明顯差異的,可以根據特徵處的差異值將特徵處的點雲剔除,然後再進行聚類、點雲分割。

影象特徵以縫隙為例,如圖所示為rgb.png的區域性放大圖,縫隙處的rgb值較非縫隙處有明顯差異,可根據這種差異將縫隙處的點雲剔除掉,然後再進行點雲分割,便可將兩個緊密的物體點雲分割開。

如圖中1框內,中心畫素即為要檢測的畫素,通過比較,發現中心畫素與周圍8個畫素點的rgb值差異不大,不認為是縫隙特徵點,保留該點。類似地,2框內中心畫素與周圍畫素有部分差異,可認為是縫隙特徵邊緣點,根據設定的閾值進行取捨。同樣地,3框內中心畫素與周圍畫素存在巨大差異,可認為是縫隙特徵點,刪除點雲中的該點。

依次進行後可發現,點雲特徵界線變得明顯,可通過點雲聚類將特徵處兩側的點雲分割開。

因此,如何取捨乙個點雲是比較重要的,可根據自己應用的要求設計判斷策略

本文使用以上提到的判斷策略,即對畫素緊挨的8個點進行判斷,若出現多個畫素點與該畫素點有明顯差異,則刪除點雲中的對應點;否則,保留該點。

《暫時不予披露,請自行編寫。>

圖中點雲的中間位置為兩個盒子的縫隙,在不加本文分割演算法時,兩個盒子的點雲難以聚類、分割。

加入本文演算法後,箱子可以被完全聚類、分割。

通過實驗,這一思想可以完成密集的、特徵不明顯的點雲聚類、分割工作。根據應用場景的不同,可以設計不同的特徵提取方式,然後根據提取資訊對點雲進行操作。總之,rgb彩色(或灰度)的畫素特徵可作為對點雲操作的依據。

基於特徵點的物體檢測

本教程是一種用於基於在參考影象和目標影象之間找到點對應關係來檢測特定物件的演算法。儘管尺度變化或平面內旋轉,它仍可以檢測物體。它對於少量的平面外旋轉和遮擋也很穩健。這種物件檢測方法最適用於呈現非重複紋理圖案的物件,這會產生獨特的特徵匹配。對於均勻著色的物件或包含重複圖案的物件,此技術不太適用。請注意...

基於PCL庫的點雲特徵識別

雷達掃瞄測量過程中,每個掃瞄點的座標資訊由雷達的俯仰角 水平角及雷射干涉儀測距計算而來 3 俯仰角與水平角資訊由雷達內部角度編碼器獲取,而雷達反射鏡與型麵點的距離資訊獲取時,由於型麵材料反光性質及空氣中灰塵的影響會影響雷達光線的對焦,此時會產生遠離型麵的一些孤點,此為雷達測量結果中的雜訊點,需要在進...

點雲資料處理(分類 分割 檢測)

2 pointnet 3 總結 傳統深度學習模式 處理二維影象資料 使用序列化的卷積核處理序列化的二維影象資料,但點雲是一種不規則資料,在空間上和數量上可以任意分布,因此傳統的深度學習模式無法處理點雲資料。在將實景儲存為點雲資料時 以pcd為例 是一行儲存乙個點的xyz資訊,如果放大到多行點雲資料來...