視覺SLAM 視覺SLAM相關開源演算法總結

2021-09-29 23:33:36 字數 2065 閱讀 8022

第乙個實時、單目slam系統,基於ekf優化。

單目,只有tracking,進行了有效的特徵點對的匹配。之後有enft-slam.

適用於各種各樣的相機,除了常見的單目,雙目,rgb-d的分類,還適用於透視、魚眼甚至自己設計的相機。

通過使用apriltag基準標記實現slam[76]

提出了一種基於李代數和直接法的直接跟蹤新方法。之後支援雙目和全景相機。

半直接法的vo,使用基於模型的影象對齊來加速。新版本支援多種相機,包括魚眼相機。cnn-svo加入了利用網路來**深度的模組。

單目,和lsd-slam作者相同。基於直接法和稀疏方法(但是不用檢測和描述特徵點)的vo

事件相機,基於event(事件)的vo演算法。優點就是相機的優點,不會受到運動模糊,動態環境和光照改變強烈的環境干擾。

單目,基於全域性空間正則化能量泛函最小化的非凸優化框架,實時重建三維模型,直接法

rgb-d相機,第乙個用深度相機重構三維場景的系統

rgb-d的稠密視覺slam,基於熵的相似度對關鍵幀進行篩選,基於g2o進行閉環檢測。

rgb-d,無需其他感測器就可以重構精確的3d稠密模型

rgb-d,具有全域性一致的點,可以實時進行網格重建

rgb-d,支援同時進行定位和構圖,但是難以作為開發上層演算法的基礎。之後的版本支援視覺和雷射slam

rgb-d,第乙個能夠基於kinect fusion實時重建非剛性形變場景的稠密slam系統

也實現了實時的非剛體的重構,但是不開源。類似的工作見fusion4d

rgb-d,一種實時稠密視覺slam,能夠捕獲室內尺度環境的全面、密集、全域性一致的基於表面的地圖

rgb-d,可以在linux,ios,安卓平台的cpu上執行的實時三維重建系統

rgb-d,支援魯棒跟蹤,可以從嚴重跟蹤失敗中恢復並重新估計實時三維建模,保證全域性一致性

單目相機必須進行初始化,而且具有尺度模糊和尺度漂移的問題。而雙目/rgb-d可以解決尺度的問題,但是仍面臨共同的問題,諸如快速移動,小視場,計算量大,遮擋,特徵缺失,動態場景和光照—>vio

松耦合,基於濾波,一種基於ekf的單感測器和多感測器時延補償融合框架

緊耦合,基於濾波,被基於ekf的google tango採用。相似的工作msckf-vio開源了**

緊耦合,基於濾波。基於ekf進行三維路標和影象patch特徵的跟蹤。支援單目相機

緊耦合,基於優化。是乙個經典的基於關鍵幀的開源vi slam。基於滑動窗,支援單目,雙目。

緊耦合,基於優化。提出了一種增量式的、一致的、高效的視慣性slam ba方法,該方法同時執行滑動視窗上的區域性ba和關鍵幀上的全域性ba,並實時輸出每一幀的相機姿態和更新的地圖點

緊耦合,基於優化,開源的,面向研究的視覺-慣導構圖框架。一方面,maplab可以被認為是乙個現成的視覺-慣性測繪和定位系統。另一方面,maplab為研究界提供了一系列多會話構圖工具,包括地圖合併、視覺化慣性批處理優化、環路閉合、三維密集重建等

單目,提出了實時單目平面slam,證明了場景理解可以改善狀態估計和稠密對映,特別是在低紋理環境中。平面測量來自乙個pop-up 3d平面模型,被應用於每一張影象。[145]得到卷積網路(convnet)**的語義關鍵點。

提出了一種用於訓練興趣點檢測器和描述符的自監督框架,該框架適用於計算機視覺中大量的多檢視幾何問題。[147]提出了利用易於標記的2d檢測和離散視點分類,結合輕量級語義推理方法來獲得粗略的3d目標測量。

利用gcnv2的結果構架的slam,. [149] 融合了3d形狀,位置,以及可用的語義資訊。

利用深度學習進行視覺顯著**知和場景的感知。將檢測的目標作為二次模型加入到slam系統中。

單目,是乙個基於立方體模型的三維目標檢測和slam系統。實現了目標級別的構圖,定位和動態目標的跟蹤。整合了cubeslam和pop-up slam,更加稠密,簡潔,具有語義資訊。

用於單目三維目標檢測和定位的幾何推理網路。可以看到基於事件相機的特徵,但不限於[155][156]。關於深度學習中的調查用於檢測,[157]可能是乙個不錯的選擇。

感測器,演算法,晶元的整合

視覺SLAM(一) 視覺SLAM框架

主要參考書目是高翔博士的 視覺slam十四講 中間會記錄一些個人實踐經驗和思考。slam伴隨著機器視覺發展和機械人導航已經相對成熟,形成了合理高效的基本框架。主要包含 感測器資料 前端視覺里程計 後端優化 回環檢測 建圖。採集根據不同應用場景和需求進行選擇,主要有如下幾種感測器 也就是單獨乙個攝像機...

視覺SLAM習題

視覺slam習題彙總 持續更新 ch3矩陣提取 主要是利用 block 對應習題提取左上角3x3矩陣 include include includeusing namespace std int main int argc,char argv 按照官網給出的計算方法,編譯出現 error eigen...

雷射slam 雷射SLAM與視覺SLAM的特點

雷射slam與視覺slam的特點 目前,slam技術被廣泛運用於機械人 無人機 無人駕駛 ar vr等領域,依靠感測器可實現機器的自主定位 建圖 路徑規劃等功能。由於感測器不同,slam的實現方式也有所不同,按感測器來分,slam主要包括雷射slam和視覺slam兩大類。其中,雷射slam比視覺sl...