三維計算視覺研究內容包括:
1)三維匹配:兩幀或者多幀點雲資料之間的匹配,因為雷射掃瞄光束受物體遮擋的原因,不可能通過一次掃瞄完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃瞄。三維匹配的目的就是把相鄰掃瞄的點雲資料拼接在一起。三維匹配重點關注匹配演算法,常用的演算法有最近點迭代演算法 icp和各種全域性匹配演算法。
2)多檢視三維重建:計算機視覺中多檢視一般利用影象資訊,考慮多視幾何的一些約束,射影幾何和多檢視幾何是視覺方法的基礎,在攝影測量中類似的存在共線方程。光束平差法是該類研究的核心技術。這裡也將點雲的多視匹配放在這裡,比如人體的三維重建,點雲的多視重建不再是簡單的逐幀的匹配,還需要考慮不同角度觀測產生誤差累積,因此存在乙個針對三維模型進行優化或者平差的過程在裡面。多檢視三維重建這裡指的只是靜態建模,輸入是一系列的影象或者點雲集合。可以只使用影象,或者只使用點雲,也可以兩者結合(深度影象)實現,重建的結果通常是mesh網格。
按照感測器型別分類:可以分為基於雷射的slam和基於視覺的slam。
基於雷射的slam可以通過點雲匹配(最近點迭代演算法 icp、正態分佈變換方法 ndt)+位姿圖優化(g2o、lum、elch、toro、spa)來實現;實時雷射3d slam演算法 (loam,blam,cartographer等);kalman濾波方法。通常雷射3d slam側重於定位,在高精度定位的基礎上可以產生3d點雲,或者octree map。
基於視覺(單目、雙目、魚眼相機、深度相機)的slam,根據側重點的不同,有的側重於定位,有的側重於表面三維重建。不過都強調系統的實時性。
(1)側重於定位的vslam系統比如orbslam,lsdslam;vins是imu與視覺融合的不錯的開源專案。
(2)側重於表面三維重建slam強調構建的表面最優,或者說表面模型最優,通常包含fusion融合過程在裡面。通常slam是通過觀測形成閉環進行整體平差實現,優先保證位姿的精確;而vslam通過fusion過程同時實現了對構建的表面模型的整體優化,保證表面模型最優。最典型的例子是kinectfusion,kinfu,bundlefusion,ratmap等等。
(4)目標檢測與識別:無人駕駛汽車中基於雷射資料檢測場景中的行人、汽車、自行車、道路(車道線,道路標線,路邊線)以及道路設施(路燈)和道路附屬設施(行道樹等)。這部分工作也是高精度電子地圖的主要內容。當然高精度電子地圖需要考慮的內容更多。同時室內場景的目標識別的研究內容也很豐富,比如管線設施,消防設施等。
(5)形狀檢測與分類:點雲技術在逆向工程中有很普遍的應用。構建大量的幾何模型之後,如何有效的管理,檢索是乙個很困難的問題。需要對點雲(mesh)模型進行特徵描述,分類。根據模型的特徵資訊進行模型的檢索。同時包括如何從場景中檢索某類特定的物體,這類方法關注的重點是模型。
(6)語義分類:獲取場景點雲之後,如何有效的利用點雲資訊,如何理解點雲場景的內容,進行點雲的分類很有必要,需要為每個點雲進行labeling。可以分為基於點的分類方法和基於分割的分類方法。從方法上可以分為基於監督分類的技術或者非監督分類技術,深度學習也是乙個很有希望應用的技術。最近深度學習進行點雲場景理解的工作多起來了,比如pointnet,各種八叉樹的net。
(7)雙目立體視覺與立體匹配 zncc
(8)自動造型(構型),快速造型(構型)技術。對模型進行凸分割,模型剖分,以實現模型進一步的編輯修改,派生出其他的模型。
1、點雲濾波方法(資料預處理):
雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機取樣一致性濾波。
voxelgrid
2、關鍵點
iss3d、harris3d、narf,
sift3d、均勻取樣,曲率方法取樣
3、特徵和特徵描述
法線和曲率計算
normalestimation 、特徵值分析eigen-analysis、egi
pfh、fpfh、3d shape context、spin image
4、點雲匹配
icp、穩健icp、point to plane icp、point to line icp、mbicp、gicp、nicp
ndt 3d、multil-layer ndt
fpcs、kfpcs、sac-ia
line segment matching、icl
5、點雲分割與語義分類
分割:區域生長、八叉樹區域生長、ransac線面提取、ndt-ransac、全域性優化平面提取
k-means、normalize cut(context based)
3d hough transform(線、面提取)、連通分析、
分類:基於點的分類,基於分割的分類;監督分類與非監督分類
目前基於深度學習的點雲語義分模擬較熱:pointnet,octnet之類的吧,需要多加關注。
6、slam圖優化
ceres(google的最小二乘優化庫,很強大), g2o、lum、elch、toro、spa
slam方法:icp、mbicp、idc、likehood field、cross correlation、ndt
7、目標識別、檢索
hausdorff距離計算(人臉識別),graph matching
8、變化檢測
基於八叉樹的變化檢測
9. 三維重建
泊松重建、 delaunay triangulations
表面重建,人體重建,建築物重建,樹木重建。
結構化重建:不是簡單的構建乙個mesh網格,而是為場景進行分割,為場景結構賦予語義資訊。場景結構有層次之分,在幾何層次就是點線面等幾何圖元。
實時重建:重建植被或者農作物的4d(3d+時間)生長態勢;人體姿勢識別;表情識別;
10.點雲資料管理
點雲壓縮,點雲索引(kd、octree),點雲lod(金字塔),海量點雲的渲染
點雲驅動的計算機圖形學主要研究應用
**:
點雲資料處理學習筆記
三維計算視覺研究內容包括 1 三維匹配 兩幀或者多幀點雲資料之間的匹配,因為雷射掃瞄光束受物體遮擋的原因,不可能通過一次掃瞄完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃瞄。三維匹配的目的就是把相鄰掃瞄的點雲資料拼接在一起。三維匹配重點關注匹配演算法,常用的演算法有最近點迭代...
點雲資料處理學習筆記
三維計算視覺研究內容包括 1 三維匹配 兩幀或者多幀點雲資料之間的匹配,因為雷射掃瞄光束受物體遮擋的原因,不可能通過一次掃瞄完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃瞄。三維匹配的目的就是把相鄰掃瞄的點雲資料拼接在一起。三維匹配重點關注匹配演算法,常用的演算法有最近點迭代...
Python 資料處理學習筆記
2.列表 3 字典 4.集合 固定長度,不可變的物件序列 逗號分隔 tup 4,5,6tup 1 2,3 4 5 tuple轉換函式 tup tuple strings a tup 0 1.元組物件不可更改,但物件內部可以修改 2.元組拆包 tup 1,2,3 4 a,b,c,d tup a,b 1...