0.引言:
怎麼獲得3d資訊?
>>用2d相機、距離感測器
在3d世界獲得3d資訊?
>>從相機中進行2d、3d重建;用kinect感測器,雷射距離感測器直接3d獲取
感測器思維?
>>用陣列相機
1.2d到3d的重構
可以利用小孔成像或雙目攝像原理實現2d到3d的重構。通過特徵來對應關係,如果相機移動了,就要找到對應關係,用hough或者sift來找到相關特徵(用到梯度的向量資訊)。
怎麼從2d到3d對映回去?
>>需要深度資訊。同樣需要特徵對應關係。通過一些矩陣對映回去。
如果有兩個圖,怎麼構造3d圖?
>>用立體視覺。
怎麼找到基本座標資訊?
>>可以用極座標來恢復。
8點法:找到右邊8個影象的點,然後找到左邊對應的8個點。
如果有3個圖,怎麼重建?
>>與2個圖類似,但是加了更多的資訊。用光束法平差。通過不同的圖得到點的關係之後有乙個加權平均的過程,把問題構成優化的問題。
kalman filter可以通過這一幀圖來**下一幀的狀態。n個圖成像是用卡爾曼濾波是怎麼做的。
新型的感測器:用陣列相機。相機的距離是線性變換的。也可以是非線性的(檢測得更準)。
2.應用
(1)convolutional-recursive deep learning for 3d object classification:
photo tourisim:exploring photo collections in 3d:通過圖來拍攝出深度,不是很新,2023年左右,用的keypoint description,matching。
(2)a projector-camera system.
三個主要元件:投影相機標定、區域檢測和追蹤、自動
拼接圖的過程就是座標變換。還有需要矯正畸變。
(3)直接獲取3d資訊的要有:kinect(直接有深度資訊)
直接獲取全景資訊:photometric stereo用multiple cameras ,multiple light sources
homepage: :multiple cameras fro human body reconstruction
structured light method:calculate the shape by how the strip is distorted.根據物體表面曲率來做出來
real time virtual 3d scanner-structured light technology前景後景
time of flight laser method雷射感測器
lidar light detection and ranging scanner
(4)motion caputre for film production(mocap):拍電影時白色幕布前演員動作建立
3d body scanner
kinect:有個ir檢測出紅外線的。
light field camera光流場,利用鏡頭上不同的長短來說明。
(5)convolutional-recursive deep learning for 3d object classification:
卷積層通過兩個引數:kernal size區域context、下取樣。如果stride是1,kernal是1,就是全連線層。artitect想清楚。
rgb、deepth、gray
3d未來/值得思考的問題
content search in 3d video data bases; shot boundary detection; video data mining; video classification
參考文獻 從3d重構到物體識別
視覺幾何(三維重建)
射影平面之齊次座標 老闆是搞三維重建的,最近跟著學了些數學知識。做一些筆記,以備查詢。第一點,為什麼需要齊次座標?簡單地說明一下,在一維空間中的一條線段上取一點x,然後我們想轉移x的位置,那我們應該是x x k,但我們能使用一維的矩陣來表示這變換嗎?不能,因為此時一維的矩陣只能讓x點伸縮。但如果變成...
三維計算視覺研究內容
三維計算視覺研究內容包括 三維匹配 多檢視三維重建 slam 目標識別 形狀檢測與分類 語義分類 立體視覺與立體匹配 zncc sfm1 點雲濾波方法 資料預處理 雙邊濾波 高斯濾波 條件濾波 直通濾波 隨機取樣一致性濾波。voxelgrid 2 關鍵點 iss3d harris3d narf si...
三維向量筆記
筆記 一 1 三維向量vec3的使用 1 vec3 cocos定義的乙個三維向量的類,在cc模組中 2 向量在每個座標軸的分量 x y z 3 構造乙個向量的3種方式 new vec3 v vec3 new了乙個vec3的例項出來,然後我們的例項裡面的x,y,z v的分量一樣 new vec3 x,...