點雲資料處理學習筆記

2021-09-11 08:20:53 字數 3893 閱讀 4051

三維計算視覺研究內容包括:

1)三維匹配:兩幀或者多幀點雲資料之間的匹配,因為雷射掃瞄光束受物體遮擋的原因,不可能通過一次掃瞄完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃瞄。三維匹配的目的就是把相鄰掃瞄的點雲資料拼接在一起。三維匹配重點關注匹配演算法,常用的演算法有最近點迭代演算法 icp和各種全域性匹配演算法。

2)多檢視三維重建:計算機視覺中多檢視一般利用影象資訊,考慮多視幾何的一些約束,射影幾何和多檢視幾何是視覺方法的基礎,在攝影測量中類似的存在共線方程。光束平差法是該類研究的核心技術。這裡也將點雲的多視匹配放在這裡,比如人體的三維重建,點雲的多視重建不再是簡單的逐幀的匹配,還需要考慮不同角度觀測產生誤差累積,因此存在乙個針對三維模型進行優化或者平差的過程在裡面。多檢視三維重建這裡指的只是靜態建模,輸入是一系列的影象或者點雲集合。可以只使用影象,或者只使用點雲,也可以兩者結合(深度影象)實現,重建的結果通常是mesh網格。

按照感測器型別分類:可以分為基於雷射的slam和基於視覺的slam。

基於雷射的slam可以通過點雲匹配(最近點迭代演算法 icp、正態分佈變換方法 ndt)+位姿圖優化(g2o、lum、elch、toro、spa)來實現;實時雷射3d slam演算法 (loam,blam,cartographer等);kalman濾波方法。通常雷射3d slam側重於定位,在高精度定位的基礎上可以產生3d點雲,或者octree map。

基於視覺(單目、雙目、魚眼相機、深度相機)的slam,根據側重點的不同,有的側重於定位,有的側重於表面三維重建。不過都強調系統的實時性

(1)側重於定位的vslam系統比如orbslam,lsdslam;vins是imu與視覺融合的不錯的開源專案。

(2)側重於表面三維重建slam強調構建的表面最優,或者說表面模型最優,通常包含fusion融合過程在裡面。通常slam是通過觀測形成閉環進行整體平差實現,優先保證位姿的精確;而vslam通過fusion過程同時實現了對構建的表面模型的整體優化,保證表面模型最優。最典型的例子是kinectfusion,kinfu,bundlefusion,ratmap等等。

(4)目標檢測與識別:無人駕駛汽車中基於雷射資料檢測場景中的行人、汽車、自行車、道路(車道線,道路標線,路邊線)以及道路設施(路燈)和道路附屬設施(行道樹等)。這部分工作也是高精度電子地圖的主要內容。當然高精度電子地圖需要考慮的內容更多。同時室內場景的目標識別的研究內容也很豐富,比如管線設施,消防設施等。

(5)形狀檢測與分類:點雲技術在逆向工程中有很普遍的應用。構建大量的幾何模型之後,如何有效的管理,檢索是乙個很困難的問題。需要對點雲(mesh)模型進行特徵描述,分類。根據模型的特徵資訊進行模型的檢索。同時包括如何從場景中檢索某類特定的物體,這類方法關注的重點是模型。

(6)語義分類:獲取場景點雲之後,如何有效的利用點雲資訊,如何理解點雲場景的內容,進行點雲的分類很有必要,需要為每個點雲進行labeling。可以分為基於點的分類方法和基於分割的分類方法。從方法上可以分為基於監督分類的技術或者非監督分類技術,深度學習也是乙個很有希望應用的技術。最近深度學習進行點雲場景理解的工作多起來了,比如pointnet,各種八叉樹的net。

(7)雙目立體視覺與立體匹配 zncc

(8)自動造型(構型),快速造型(構型)技術。對模型進行凸分割,模型剖分,以實現模型進一步的編輯修改,派生出其他的模型。

1、點雲濾波方法(資料預處理):

雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機取樣一致性濾波。

voxelgrid

2、關鍵點

iss3d、harris3d、narf,

sift3d、均勻取樣,曲率方法取樣

3、特徵和特徵描述

法線和曲率計算

normalestimation 、特徵值分析eigen-analysis、egi

pfh、fpfh、3d shape context、spin image

4、點雲匹配

icp、穩健icp、point to plane icp、point to line icp、mbicp、gicp、nicp

ndt 3d、multil-layer ndt

fpcs、kfpcs、sac-ia

line segment matching、icl

5、點雲分割與語義分類

分割:區域生長、八叉樹區域生長、ransac線面提取、ndt-ransac、全域性優化平面提取

k-means、normalize cut(context based)

3d hough transform(線、面提取)、連通分析、

分類:基於點的分類,基於分割的分類;監督分類與非監督分類

目前基於深度學習的點雲語義分模擬較熱:pointnet,octnet之類的吧,需要多加關注。

6、slam圖優化

ceres(google的最小二乘優化庫,很強大), g2o、lum、elch、toro、spa

slam方法:icp、mbicp、idc、likehood field、cross correlation、ndt

7、目標識別、檢索

hausdorff距離計算(人臉識別),graph matching

8、變化檢測

基於八叉樹的變化檢測

9. 三維重建

泊松重建、 delaunay triangulations

表面重建,人體重建,建築物重建,樹木重建。

結構化重建:不是簡單的構建乙個mesh網格,而是為場景進行分割,為場景結構賦予語義資訊。場景結構有層次之分,在幾何層次就是點線面等幾何圖元。

實時重建:重建植被或者農作物的4d(3d+時間)生長態勢;人體姿勢識別;表情識別;

10.點雲資料管理

點雲壓縮,點雲索引(kd、octree),點雲lod(金字塔),海量點雲的渲染

點雲驅動的計算機圖形學主要研究應用   

**:

點雲資料處理學習筆記

三維計算視覺研究內容包括 1 三維匹配 兩幀或者多幀點雲資料之間的匹配,因為雷射掃瞄光束受物體遮擋的原因,不可能通過一次掃瞄完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃瞄。三維匹配的目的就是把相鄰掃瞄的點雲資料拼接在一起。三維匹配重點關注匹配演算法,常用的演算法有最近點迭代...

點雲資料處理學習筆記

三維計算視覺研究內容包括 1 三維匹配 兩幀或者多幀點雲資料之間的匹配,因為雷射掃瞄光束受物體遮擋的原因,不可能通過一次掃瞄完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃瞄。三維匹配的目的就是把相鄰掃瞄的點雲資料拼接在一起。三維匹配重點關注匹配演算法,常用的演算法有最近點迭代...

Python 資料處理學習筆記

2.列表 3 字典 4.集合 固定長度,不可變的物件序列 逗號分隔 tup 4,5,6tup 1 2,3 4 5 tuple轉換函式 tup tuple strings a tup 0 1.元組物件不可更改,但物件內部可以修改 2.元組拆包 tup 1,2,3 4 a,b,c,d tup a,b 1...