做一下多目視覺標定和立體視覺的學習筆記。
雙目視覺主要包括相機標定、畸變矯正、攝像機校正、匹配、3d恢復五個部分。
相機標定的目的有兩個。
第一，要還原攝像頭成像的物體在真實世界的位置就需要知道世界中的物體到計算機影象平面是如何變換的，相機標定的目的之一就是為了搞清楚這種變換關係，求解內外引數矩陣。
第二，攝像機的透視投影有個很大的問題——畸變。攝像頭標定的另乙個目的就是求解畸變係數，然後用於影象矯正。
談到相機標定，我們不得不說起攝相機座標系、世界座標系、影象座標系。
標定時確定標定物的位置；
作為雙目視覺的系統參考係，給出兩個攝像機相對世界座標系的關係，從而求出相機之間的相對關係；
作為重建得到三維座標的容器，存放重建後的物體的三維座標。世界座標系是將看見中物體納入運算的第一站。
攝像機座標系(xc,yc,zc)：攝像機站在自己角度上衡量的物體的座標系。攝像機座標系的原點在攝像機的光心上，z軸與攝像機光軸平行。它是與拍攝物體發生聯絡的橋頭堡，世界座標系下的物體需先經歷剛體變化轉到攝像機座標系，然後在和影象座標系發生關係。它是影象座標與世界座標之間發生關係的紐帶，溝通了世界上最遠的距離。單位為長度單位如mm。
影象座標系(x,y):以ccd 影象平面的中心為座標原點，為了描述成像過程中物體從相機座標系到影象座標系的投影透射關係而引入，方便進一步得到畫素座標系下的座標。影象座標系是用物理單位（例如公釐）表示畫素在影象中的位置。
畫素座標系(u,v) ：以 ccd 影象平面的左上角頂點為原點，為了描述物體成像後的像點在數字影象上（相片）的座標而引入，是我們真正從相機內讀取到的資訊所在的座標系。畫素座標系就是以畫素為單位的影象座標系。
備註：有很多人把影象座標系和畫素座標系合在一起，稱作三大座標系，也有人分開，稱為四大座標系。
通過上面的三角關係，利用簡單的相似三角形知識，就可以得到
t-(xl-xr) : (z-f) = t : z ==> z = f*t/(xl - xr)
f為焦距，t為baseline，(xl - xr)為視差，可知求取深度資訊只與這三個值有關。
深度與視差成反比例關係，當視差接近0時，微小的視差變化會導致很大的深度變化，當視差較大時，微小的視差變化幾乎不會引起很大的深度變化。
本徵矩陣e是單幾何意義上的，與成像儀無關，它將左攝像機觀測到的點p的物理座標與右攝像機觀測到的相同位置的點關聯起來。
基礎矩陣f則是將一台攝像機的像平面上的點的畫素座標和另一台攝像機像平面上的點關聯起來。
step1. 立體相機標定，獲取相機系統內外引數
step2. 獲取目標點在左右成像平面上的畫素座標
step3. 利用標定引數對畫素座標進行校準undistortpoints
step4. 利用重投影矩陣計算目標三維座標
雙目立體視覺的發展
雙目立體視覺的發展 machinevision 雙目立體視覺是計算機視覺的乙個重要 分支，即由不同位置的兩台或者一台攝像機攝影測量學的傳統裝置標定法。利用至少17個引數描述 雙目立體視覺是計算機視覺的乙個重要分支，即由不同位置的兩台或者一台攝像機攝影測量學的傳統裝置標 定法。利用至少17個引數描述攝...
雙目立體視覺 雙目標定（內參和外參）
目的 求左右相機內引數矩陣m 畸變係數矩陣d 右攝像頭相對於左攝像頭的平移向量 t和旋轉矩陣r.步驟 1.左右分別單目標定 m d 焦距，影象中心 fx,fy,cx,cy 畸變係數 k1,k2,p1,p2,k3 和 2.求右攝像頭向左攝像頭的平移向量 t 和旋轉矩陣 r.原理 以上引數為 接下來的立...
雙目立體視覺之深度估計
在此解答一下 首先，確實人通過乙隻眼也可以獲得一定的深度資訊，不過這背後其實有一些容易忽略的因素在起作用 一是因為人本身對所處的世界是非常了解的 先驗知識 因而對日常物品的大小是有乙個基本預判的 從小到大多年的視覺訓練 根據近大遠小的常識確實可以推斷出影象中什麼離我們遠什麼離我們近 二是人在單眼觀察...