2 pointnet
3 總結
傳統深度學習模式（處理二維影象資料），使用序列化的卷積核處理序列化的二維影象資料，但點雲是一種不規則資料，在空間上和數量上可以任意分布，因此傳統的深度學習模式無法處理點雲資料。
在將實景儲存為點雲資料時（以pcd為例），是一行儲存乙個點的xyz資訊，如果放大到多行點雲資料來看，將某幾行資料進行交換，它實際表達的仍然是同一片點雲（xyz資訊沒變），只是在儲存為點雲資料時人為的加入了順序（這是不可避免的）。對比二維影象資料，當交換它的某些點（即xy發生變化）它一定會代表另一種圖案，所以這是傳統深度學習模式無法處理點雲資料的最大的障礙！
基於不同的視角所觀察到的事物的樣子是不相同的，例如這一片點雲代表一輛車，感測器剛好倒放收集了點雲資料，或者觀察視角進行平移點雲資料xyz資訊都發生了變化。如何處理這樣xyz資訊有大量變化但所表達的資訊不變（仍然是一輛車）的資料是傳統深度學習模式無法解決的。
pointnet作為利用深度學習方式處理點雲資料的開山之作，成功的處理了點雲資料，並進行分類、分割。
pointnet利用h-g-y的結構解決了點雲資料無序性的問題：首先通過mlp提取特徵，再通過max篩選最具代表性的特徵，最後通過mlp消化篩選的特徵。我個人的理解是不論點雲的位置如何變化，通過maxpooling篩選出的最大值永遠不會變，所以比較好的解決了點雲資料的無序性問題。
空間中物體的旋轉和平移可以通過矩陣運算來解決（r、t），而深度學習本質上也是矩陣的運算，pointnet在網路加入兩個t-net，讓網路自主學習如何調整位姿以得到更好的輸出結果。
pointnet是用點雲資料進行深度學習的開山之作，所提出的使用maxpool解決點雲無序性更是成為之後所有神經網路優先考慮的模組。
但pointnet仍然有很大的侷限性，pointnet在通過maxpool將所有特徵進行篩選的時候，沒有區域性概念，很難對精細的特徵做學習，在分割上有很大的侷限性；沒有了區域性概念在平移不變性也有侷限性，例如在處理場景點雲資料時，場景內包含多個物體，t-net很難用乙個標準去同一所有的物體。
分割點雲資料 概述 點雲資料處理方法都有哪些？
點雲資料處理方法概述 icp點雲配準就是我們非常熟悉的點雲處理演算法之一。實際上點雲資料在形狀檢測和分類 立體視覺 運動恢復結構 多檢視重建中都有廣泛的使用。點雲的儲存 壓縮 渲染等問題也是研究的熱點。隨著點雲採集裝置的普及 雙目立體視覺技術 vr和ar的發展，點雲資料處理技術正成為最有前景的技術之...
點雲處理（2） 基於RGB值特徵檢測的點雲分割演算法
tips 本文已在專案中應用，若對本方法比較認可和熟悉，可通過了解 0.應用描述 和 1.演算法理論 部分完成自己的演算法。通過深度相機採集到彩色影象 rgb.png 和深度影象 depth.png 並且兩張是畫素對準的，由此可得到資料型別為pcl pointxyzrgb的點雲資訊 png格式的深度...
點雲資料處理學習筆記
三維計算視覺研究內容包括 1 三維匹配 兩幀或者多幀點雲資料之間的匹配，因為雷射掃瞄光束受物體遮擋的原因，不可能通過一次掃瞄完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃瞄。三維匹配的目的就是把相鄰掃瞄的點雲資料拼接在一起。三維匹配重點關注匹配演算法，常用的演算法有最近點迭代...