雙目稠密點雲的資料記錄

2022-02-11 04:14:20 字數 942 閱讀 2376

2020. 03.15. 16:09

有生成雙目稠密點雲來避障的需求,這週找了一些資料,還沒做出乙個滿意的效果來。

先記錄一下資料鏈結。

這個鏈結裡的效果沒跑出來,沒玩過qt,稍微花點時間應該也是跑的起來的。

簡單玩了下 libelas,感覺效果不是那麼好,可能是我什麼引數沒設定在合理範圍內。

然後看到了乙個patchmatch (stereo)

單看效果圖是很驚豔的,感覺吊打opencv自帶的雙目重建,但是在自己糾正過的雙目上跑,

一是效果很差,可能還是引數設定問題,二是速度很慢,三是可能我標定的不太好。

cuda  這是同一作者對應的cuda版本,還沒試過。

然後找了些patchmatch方面的資料看,patch應該算是一種處理上的、可以推廣的手段或方法,

不限於雙目視差估計。

這篇稍微理解了下文章中的公式。

既然patchmatch是一種方法,那為什麼還要限制在雙目上。

這個   **和庫就是在序列影象上重建出三維模型。

簡單瀏覽了下**和**,就記住了在gtx980顯示卡上,640 x 480 的10張影象,重建出三維模型

要 2.5 s。一篇相關的部落格:

然後發現了 patchmatch stereo 的深度學習版本:

然而好像是有監督的深度估計...

待我有空了把它結合 monodepth2 做乙個無監督的版本出來。

然後發現了乙個 stixel 做避障   

這個在自動駕駛上用的應該還是蠻多的。

發現速度倒是挺快,但是如果視差估計效果太糟糕,這個演算法效果也會相當糟糕。

所以前提還是要有比較高質量的視差估計。

後續會在雙目視差估計上下點功夫!

手上有乙個realsense 相機向下傾斜拍攝地面,利用點雲算出突起物障礙的區域性地圖的功能,但是因為

rs相機測量出的點雲雜訊太大,效果相當爛。

VisualSFM PMVS生成稠密點雲

利用相機拍攝乙個場景不同角度的,使用visualsfm能夠得到稀疏點雲,如果想要得到稠密點雲,可以在visualsfm中加入pmvs的應用程式,pmvs會作為乙個外掛程式執行將稀疏點雲插成稠密的點雲。我的電腦是32bit 將 cmvs pmvs master cmvs pmvs master bin...

DSO半稠密點雲生成工具

介紹 半稠密點雲的生成主要通過兩個方面 把多個frame的畫素投影到同乙個frame上面,計算這乙個frame上面畫素的深度。這種做法不考慮畫素之間的相關性。但其實畫素之間是有相關性的,因為3d空間中的表面大都是連續的,所以相鄰畫素的深度的變化應該也是連續。通過深度的連續性不斷擴充套件不能通過視察計...

學習SLAM DSO半稠密點雲生成工具

1 把多個frame的畫素投影到同乙個frame上面,計算這乙個frame上面畫素的深度。這種做法不考慮畫素之間的相關性。但其實畫素之間是有相關性的,因為3d空間中的表面大都是連續的,所以相鄰畫素的深度的變化應該也是連續。2 通過深度的連續性不斷擴充套件不能通過視察計算出來的那些畫素的深度。使用ca...