點雲是無序且不規則的資料，無法用現有的卷積神經網路進行計算和訓練。所以自然就出現將規則化處理和卷積相結合，前面部分用規則化處理，後面部分接上一般的神經網路進行端對端的學習和訓練。
2023年蘋果公司基於點雲的3d物體檢測**「voxelnet: end-to-end learning for point cloud based 3d object detection」
將三維點雲劃分為一定數量的voxel，經過點的隨機取樣（使得較多點的網格取樣後點變少，加快執行速度）以及歸一化後（減少平移差異），對每乙個非空voxel使用若干個vfe(voxel feature encoding)層進行區域性特徵提取，得到voxel-wise feature，然後經過3d convolutional middle layers進一步抽象特徵（增大感受野並學習幾何空間表示），最後使用rpn(region proposal network)對物體進行分類檢測與位置回歸。voxelnet整個pipeline如下圖所示。
對點雲劃分後基本上是按照pointnet的方式進行特徵提取，彩色的表示point feature(也即local feature)，灰色的表示這個劃分中的global feature，concatenate之後再進行乙個全連線層提取這個劃分的總體特徵。如圖所示：
此外，由於點雲具有高度的稀疏性以及密度不均勻性，作者利用雜湊表查詢的方式，可以做到快速找到每乙個voxel中的點在三維點雲中的具體位置，如圖所示：
lattice對映到晶格網路+bilateral convolution雙邊卷積+hash index
（splatnet, cvpr 2018）
splatnet 網路處理點雲的主要motivation：
splatnet 與 pointnet/pointnet++ 處理點雲的不同：
部落格參考：
nips 2018 **《pointcnn: convolution on x-transformed points》
利用乙個kxk的x-transform矩陣來解決點的無序性，參照卷積的思想對點雲進行最遠點取樣確定中心點，再通過k近鄰的方式來近似卷積的特徵提取，也可以進行分層次的特徵提取，以實現類似卷積的多個size的特徵融合。
如圖所示上面部分是正常卷積操作，下面部分是點雲卷積操作。進行模擬，淺層feature map的寬度大而深度小，深層feature map的寬度小而深度大，擁有更豐富的語義資訊。具體確定取樣多少個點由最遠點取樣設定而定，k值也是超引數點需要人為設定，類似於卷積kernel的size。
如圖所示，k代表conv的卷積核，pp代表取樣中心點，p是取樣中心點的k個最近鄰點集，f是輸入的點的特徵。
點雲處理 隨機取樣一致性演算法
隨機取樣一致性演算法在計算機視覺領域有著廣泛的運用，在點雲分割中，經常用到隨機取樣一致性演算法，所以就仔細研究了一下該演算法，並記下了一些便於理解的筆記。取樣一致性引數估計演算法主要用於排除錯誤樣本，可以從一組包含 局外點 的觀測資料中，通過迭代的方式估計數學模型引數。ransac隨機取樣一致性演算...
點雲處理（2） 基於RGB值特徵檢測的點雲分割演算法
tips 本文已在專案中應用，若對本方法比較認可和熟悉，可通過了解 0.應用描述 和 1.演算法理論 部分完成自己的演算法。通過深度相機採集到彩色影象 rgb.png 和深度影象 depth.png 並且兩張是畫素對準的，由此可得到資料型別為pcl pointxyzrgb的點雲資訊 png格式的深度...
雲計算安全性中的一點點
心路 雲計算是越來越火了，我們的planet也準備遷移到gae上執行。目前螺螺巨牛已經完成開發，處於在內測狀態。趁今天閒下來，說一點雲的安計算全方面的事情，這裡的雲不包括那些自稱雲其實就是網路儲存的東西，這種就算了吧。寫這個東西是有原因的。前些時候我和螺螺以及我們的harry一起參加了一次程式設計比...