說在前面：
學習歷程：三維重建→深度相機→點雲→點雲配準1.三維重建技術：基於視覺的三維重建，指的是通過攝像機獲取場景物體的資料影象，並對此影象進行分析處理，再結合計算機視覺知識推導出現實環境中物體的三維資訊。《參考部落格1》《參考部落格2》《三維重建中的點雲拼接演算法研究》
2.深度相機：《三種主流深度相機方案對比》《深度相機在計算機視覺與圖形學上的應用研究(英文)》《深度相機哪家強？ 》
3.點雲：在逆向工程中通過測量儀器得到的產品外觀表面的點資料集合也稱之為點雲，通常使用三維座標測量機所得到的點數量比較少，點與點的間距也比較大，叫稀疏點雲；而使用三維雷射掃瞄器或照相式掃瞄器得到的點雲，點數量比較大並且比較密集，叫密集點雲。
點雲是在和目標表面特性的海量點集合。
根據雷射測量原理得到的點雲，包括三維座標（xyz）和雷射反射強度（intensity）。
根據攝影測量原理得到的點雲，包括三維座標（xyz）和顏色資訊（rgb）。
結合雷射測量和攝影測量原理得到點雲，包括三維座標（xyz）、雷射反射強度（intensity）和顏色資訊（rgb）。
在獲取物體表面每個取樣點的空間座標後，得到的是乙個點的集合，稱之為「點雲」(point cloud)。
點雲的格式：; *.pts; *.asc ; *.dat; *.stl ; *.imw；*.xyz;
3.點雲拼接，配準，註冊說的是同乙個概念，就是把不同位置的點雲通過重疊部分的資訊，變換到同乙個位置。 《參考部落格》
其實，點雲的配準一般分為等價集合和律屬集合兩種配準，其中等價集合配準叫做匹配過程，律屬集合配準被稱為alignment。點雲的匹配一般使用icp方法（ icp：iterative closest point迭代最近點），即兩個點雲純粹通過剛體位姿變換即可大致重合。《參考部落格》
學習歷程： 各型深度相機原理→各型相機點雲配準實現原理→典型專案重現→配準方案選擇明要求：本章的目的是需要通過一些指標判斷在不同應用場景下深度相機的選擇
首先需要清楚深度相機型別及評判指標，第二步需要搞懂幾種主流方案相機的原理，第三步需要重現點雲配準的實驗，第四步典型專案的重現，第五步點雲配準方案的選擇
1.rgbd方案對比《深度相機選擇參考標準》
關鍵技術規格：
1.檢測範圍；
2.檢測精度；
3.檢測角度；
4.幀率。
5.模組大小
6.功耗
目前主流的深度攝像頭方案在檢測距離上、精度、檢測速度上相差不大，區別在於：
1、結構光方案優勢在於技術成熟，深度影象解析度可以做得比較高，但容易受光照影響，室外環境基本不能使用；
2、tof方案抗干擾性能好，視角更寬，不足是深度影象解析度較低，做一些簡單避障和視覺導航可以用，不適合高精度場合。受環境影響小，感測器晶元並不成熟，成本很高，實現量產困難。
3、雙目方案，成本相對前面兩種方案最低，但是深度資訊依賴純軟體演算法得出，此演算法複雜度高，難度很大，處理晶元需要很高的計算效能，同時它也繼承了普通rgb攝像頭的缺點：在昏暗環境下以及特徵不明顯的情況下並不適用。
雙目rgb、結構光、tof三種主流技術的詳細的比較：
三種主流rgbd方案對比 方案
雙目結構光
tof基礎原理
雙目匹配，三角測量
雷射散斑編碼
反射時差
解析度中高中低
精度中中高中
幀率低中高
抗光照（原理角度）高低
中硬體成本低中
高演算法開發難度高中
低內外參標定
需要需要
總結：1.雙目方案，最大的問題在於實現演算法需要很高的計算資源，導致實時性很差，而且基本跟解析度，檢測精度掛鉤。也就是說，解析度越高，要求精度越高，則計算越複雜，同時，純雙目方案受光照，物體紋理性質影響。
2.結構光方案，目的就是為了解決雙目中匹配演算法的複雜度和魯棒性問題而提出，該方案解決了大多數環境下雙目的上述問題。但是，在強光下，結構光核心技術雷射散斑會被淹沒。因此，不合適室外。同時，在長時間監控方面，雷射發射裝置容易壞，重新換裝置後，需要重新標定。
2.主流深度相機原理
雙目 《深度相機原理揭秘--雙目立體視覺 》本次專案暫不深究雙目相機
結構光 《深度相機原理揭秘--結構光（iphone x 齊劉海原理）》
3.主流相機測評（原理+應用）《深度相機哪家強？》
相機一： 微軟的kinect1
相機二： 微軟的kinect 2《基於點雲配準的3d物體檢測與定位》《基於kinect深度感測器的三維重建技術研究》
相機三：intel 的 realsense
相機四：華碩的xtion《基於救援機械人靈活操控的目標位姿估計研究》《膝關節置換手術中的機械人切骨系統研究與開發》《基於視覺感測器的雙機械臂協作系統構建與研究》《利用openni2、opencv2獲取華碩xtionpro深度影象和彩色影象》
深度相機三維重建
筆者近日學習kinect開發，需要得到指定物體的三維座標，在查閱了眾多資料之後，也有了一點點自己的看法。由於kinect是一款rgb d相機，能夠很容易獲得相應的深度資訊，而至於深度資訊，推薦一篇知乎專欄 然後應該如何處理得到的深度資訊呢，筆者覺得主要有三個步驟 1.首先應該將深度相機的深度影象和色...
三維重建技術學習筆記
參考座標系 1.計算機影象座標系 pixel coordinate system 用o0 uv表示 2.成像平面座標系 retinal coordinate system 用o1 xy表示 3.攝像機座標系 camara coordinate system 用oc xcyczc表示 4.世界座標系 ...
opencv三維重建 三維重建 SLAM相關
wayne cvpr2020 oral 立體視覺cost volume構建新方法,效能soa,視訊記憶體和執行時間大幅降低 雙目立體視差圖進行三維點雲重建 opencv3.4.1 pcl1.8 用vs opencv3.1從雙目立體視差圖中重建三維點雲 使用opencv以及pcl將2d影象轉換為3d點...