3D點雲的深度學習

2021-09-07 17:17:06 字數 1019 閱讀 9224

使用卷積神經網路(cnn)架構的深度學習(dl)現在是解決影象分類任務的標準解決方法。但是將此用於處理3d資料時,問題變得更加複雜。首先,可以使用各種結構來表示3d資料,所述結構包括:

1  體素網格

2   點雲

3  多檢視

4  深度圖

對於多檢視和深度圖的情況,該問題被轉換為在多個影象上使用2d cnn解決。通過簡單定義3d卷積核,可以將2d cnn的擴充套件用於3d voxel網格。但是,對於3d點雲的情況,目前還不清楚如何應用dl工具。但是之前也已經有幾種解決辦法了,具體可以參看 的總結 

以及最近山東大學研究者們提出的pointcnn,對於pointcnn 這篇**是一種為基於點雲的特徵學習提出了一種簡單且通用的框架。cnn成功的關鍵是要能利用資料中以網格形式密集表示的空間上的區域性相關性(比如影象)。但是,點雲是不規則和無序的,因此在這些點關聯的特徵上直接求核的卷積會導致形狀資訊的丟失,同時還會因順序不同而不同。為了解決這些問題,提出了根據輸入點學習一種x變換,然後將其用於同時加權與點關聯的輸入特徵和將它們重新排列成潛在隱含的規範順序,之後再在元素上應用求積和求和運算。我們提出的方法是典型cnn向基於點雲的特徵學習的泛化,因此將其稱為pointcnn。實驗表明,pointcnn能在多種有挑戰性的基準資料集和任務上實現與之前最佳方法媲美或更好的表現。

pointcnn與其他方法的對比

其次,影象的可用資料比較多,儘管最近3d資料集的數量有所增加 。但是,對於3d情況,可以容易地生成合成資料。

下面附有在3d資料上使用dl工具的**列表

3D點雲的深度學習

使用卷積神經網路 cnn 架構的深度學習 dl 現在是解決影象分類任務的標準解決方法。但是將此用於處理3d資料時,問題變得更加複雜。首先,可以使用各種結構來表示3d資料,所述結構包括 1 體素網格 2 點雲 3 多檢視 4 深度圖 對於多檢視和深度圖的情況,該問題被轉換為在多個影象上使用2d cnn...

3D點雲的深度學習

使用卷積神經網路 cnn 架構的深度學習 dl 現在是解決影象分類任務的標準解決方法。但是將此用於處理3d資料時,問題變得更加複雜。首先,可以使用各種結構來表示3d資料,所述結構包括 1 體素網格 2 點雲 3 多檢視 4 深度圖 對於多檢視和深度圖的情況,該問題被轉換為在多個影象上使用2d cnn...

深度學習 3D識別

資料庫 3d幾何估計 使用3d cad模型進行建模,精細識別的第一步是找到乙個最合適影象的cad模型。合成資料 使用cad模型渲染出訓練資料 3d幾何分類器 hog svm。3d表示 視角變化特徵不變的特徵描述方法,在描述之前對patch進行轉換,選取的影象塊如圖2 b 所示。為了補償透視投影,對p...