該綜述2023年7月發表於 測繪科學，一作：北京建築大學
2.slam技術基於兩大類感測器
3.典型slam組成
四、slam涉及4個模組的核心演算法總結
五、揹包slam
六、推車slam
七、無人機slam
八、深度相機slam
九、總結
slam室內三維重建技術應用與各種移動測圖平台，如移動揹包、推車、微型無人機等。這篇文章首先對slam發展現狀及關鍵技術進行整體回顧，然後基於不同移動平台及深度相機slam室內三維重建系統進行深入分析和比較，最後討論slam技術在室內三維重建中存在的問題及發展趨勢。
正文開始
針對室內3d重建，出現了以3d雷射掃瞄技術和近景攝影測量技術為主的測量手段，相比較而言，3d雷射掃瞄技術效率更高。由於傳統靜態三維雷射掃瞄技術不能實現快速地進行整體三維重建，所需工作仍然較大。隨著slam技術日趨成熟，室內3d實時快速重建成為可能。
主要將概**式引入slam問題中，使得slam問題在理論上更加嚴謹。主要理論方法包括：擴充套件卡爾曼濾波器（ekf）、粒子濾波器和最大似然估計等。
主要包括對slam演算法基礎性質如可觀測性、收斂性和一致性等的研究，同時在提高slam效率上的稀疏性解法取得進展。
讓現有框架能夠成功處理動態形變，有遮擋、光照變化等場景。
可分為2d和3d雷射掃瞄器。
可分為單目視覺和雙目視覺、以及新興的rgb-d深度相機。
典型的slam主要由前端里程計、後端非線性優化、回環檢測、建圖4個模組構成。
前端的作用就是『估算運動』，主要計算相鄰時間內感測器的運動關係，從而解算運動軌跡。前端里程計有兩種，分別是 基於視覺感測器的 前端里程計和 基於 雷射感測器 的前端里程計。
1>基於視覺感測器的 前端里程計算法 採用直接法或特徵點法或得相鄰兩幀影象間的運動關係。
2> 基於雷射感測器的 前端里程計 採用迭代最近點(icp)及其變種演算法估算感測器相鄰時間的增量運動。
是對初始計算結果進行優化獲得最優解生成統一軌跡和地圖。後端優化有很多種方案，過去採用以擴充套件卡爾曼濾波（ekf）為主的濾波器方案，現在大多都採用非線性優化方案。ekf由於假設了馬爾可夫性質，只利用前一狀態來估計當前狀態的值，這有點像視覺里程計中只考慮相鄰兩幀的關係一樣，很難做到全域性的優化。而現在常用的非線性優化方法，則是把所有資料都考慮進來，放在一起優化，雖然會增大計算量，但效果好得多。
主要解決隨著時間增加誤差積累問題，搭載感測器的平台在移動一段時間後又回到起點或者到達之前經過的某點，進行誤差檢測和改正。回環通過減少了約束數，起到了減少累積誤差的作用。那現在又有新的問題了，我們怎麼知道可以由第二幀推算第五幀位姿呢？就像下圖，可能第一幀、第三幀也可以呀。確實，我們之所以用前一幀遞推下一幀位姿，因為這兩幀足夠近，肯定可以建立兩幀的約束，但是距離較遠的兩幀就不一定可以建立這樣的約束關係了。找出可以建立這種位姿約束的歷史幀，就是回環檢測。
（回環檢測詳解）
實質是運動過程對環境的描述，所構建的地圖形式分為：度量地圖和拓撲地圖。
1>度量地圖
a.稀疏地圖：對環境進行了一定的抽象和表達，不能表達周圍環境的所有資訊，通常用於快速定位與導航，具有較快的計算能力。
b.稠密地圖：分為二維和三維。二維稠密地圖由一定解析度的小格仔組成，三維稠密地圖則由一定解析度的方塊或三維點雲構成，主要用於三維重建。
2>拓撲地圖
由節點和邊兩種元素組成，主要表達地圖元素之間的連通性。
i. 目前slam研究重點主要放在後端優化上，主要演算法有粒子濾波、圖優化、最小二乘濾波等優化演算法。
ii. 由於最小二乘濾波演算法簡單並能夠進行實時計算，曾被廣泛採用。但隨著建圖規模增大，協方差矩陣會呈指數增長，這對於實時解很不利，求解精度差。
iii. 粒子濾波器對非線性問題具有很好的魯棒性，但存在維度增長快的問題，無法進行實時大規模建圖。
最近非線性圖優化方法成為了主流方案，通過估計稀疏約束集的節點網路問題，能夠有效解決slam後端優化的問題。近年來，非線性優化正逐漸取代傳統濾波器，成為slam中的主要處理手段，當前出現了基於非線性優化方法的開源庫（to-ro[基於網路的樹]、gto[通用圖優化]）被成功應用於slam系統中。
下面分別從3種不同搭載平台（揹包slam、推車slam、無人機slam）及新型感測器rgb-d相機slam在實時室內3d重建技術和相關產品方面進行詳細的介紹。
由於揹包的便攜性，並隨著感測器及演算法的發展，目前出現了多種不同感測器組合的揹包slam系統。
揹包cad系統演算法流程：
當前的揹包slam系統並不成熟，仍處在發展階段，演算法和硬體的結合都在經歷不斷改進和優化的過程，效率和精度仍然有待提高。
鑑於微型無人機的尺寸較小、機動性強和懸停能力的特性，使其在無人環境中的室內3d重建中將成為理想的平台，但其有限的載重和高機動性也向其計算能力和搭載感測器的數量提出了挑戰。
a. 以2d雷射掃瞄器為主要感測器的無人機平台。通過icp演算法（迭代最近點）進行2d位姿解算，使用卡爾曼濾波融合2d姿態、高度和imu資料恢復六自由度。（imu:慣性測量單元，是測量物體三軸姿態角(或角速率)以及加速度的裝置）。該系統採用基於視覺的回環檢測，最後使用批量式圖優化法進行優化，slam模組以乙個很低的頻率單獨執行，在保證精度情況下儘量減少計算量，適用於規則的室內環境。
b. 基於相機為主感測器的系統設計，硬體系統由兩個相機（分為主相機和輔助相機）和乙個imu(慣性測量單元)組成。基於硬體開發了單目-立體像對松耦合法。主相機為廣角相機以高頻率執行，用於解算姿態和生成區域性地圖，輔助相機為單目相機的補充，以低頻率執行用於和主相機結合形成立體像對恢復場景尺度。將視覺系統解算出位姿資料和imu（慣性測量單元）資料進行ukf（無跡卡爾曼濾波）求解，該方案主要受環境紋理資訊以及光照條件限制較大。
c. 為提高系統的魯棒性，提出了 多感測器融合方法，該方案融合之前無人機狀態向量和相對測量資料生成乙個增強的狀態向量，參與ukf（無跡卡爾曼濾波）演算法框架進行松耦合解算。計算能力的限制使該系統需要外部模組的支援，且無法對感測器資料以緊耦合方式進行融合，因此整體精度受限。
a. 深度（rgb-d）相機採用的是主動測量原理，不受光照和紋理限制，且不存在單目相機尺度不確定性問題，因此相對普通相機比較容易進行稠密建圖。隨著rgb-d相機的流行，基於rgb-d相機感測器出現了大量實時三維重建方案，首次實現基於rgb-d實時3d重建，系統使用tsdf模型重建3d模型，由於沒有設計回環檢測演算法，存在軌跡漂移問題，適合戈丁大小場景3d重建。
b.rgb-d相機 不足：存在測量距離短，雜訊大等缺點，如kinect v2.0可探測深度範圍是：0.5-4.5公尺，深度值的誤差在3-5cm。因此，基於深度相機的slam室內三維重建技術，仍只適用於小範圍場景和精度需求較低的場景。
a. 揹包slam系統由於人的行走特性，使得演算法設計複雜性更高，但其相對推車slam系統有著很大的靈活性，對室內環境要求較低，能夠在多樓層之間進行一體化三維重建。
b. 推車slam系統一般用於比較平坦的室內外環境，其可充分利用車輪的測距資訊，因此繪圖效果較好，且演算法並沒有揹包slam系統那樣複雜，但缺點是靈活性較差，對環境適應能力較差。
c. 無人機slam系統側重點在於導航和位姿估計，而無法分配更多計算資源供後端優化實現高精度的三維重建。因此，為了增強3d重建的精度，大多採用離線處理或將資料實時傳到高效能上進行計算。
d.深度相機slam系統適合於小範圍室內三維重建，可作為揹包系統的補充。
基於slam的三維重建 SLAM 三維重建相關資源
有人問不知道去 找slam 三維重建相關資源，1 跟蹤slam前沿動態 更新的很頻繁 track advancement of slam 2 很全視覺slam資料大全，包括 the list of vision based slam visual odometry open source proje...
opencv三維重建 三維重建 SLAM相關
wayne cvpr2020 oral 立體視覺cost volume構建新方法,效能soa,視訊記憶體和執行時間大幅降低 雙目立體視差圖進行三維點雲重建 opencv3.4.1 pcl1.8 用vs opencv3.1從雙目立體視差圖中重建三維點雲 使用opencv以及pcl將2d影象轉換為3d點...
三維重建技術學習筆記
參考座標系 1.計算機影象座標系 pixel coordinate system 用o0 uv表示 2.成像平面座標系 retinal coordinate system 用o1 xy表示 3.攝像機座標系 camara coordinate system 用oc xcyczc表示 4.世界座標系 ...