雙目立體視覺的數學原理

雙目立體視覺是基於視差原理，由多幅影象獲取物體三維幾何資訊的方法。在機器視覺系統中，雙目視覺一般由雙攝像機從不同角度同時獲取周圍景物的兩幅數字影象，或有由單攝像機在不同時刻從不同角度獲取周圍景物的兩幅數字影象，並基於視差原理即可恢復出物體三維幾何資訊，重建周圍景物的三維形狀與位置。

雙目視覺有的時候我們也會把它稱為體視，是人類利用雙眼獲取環境三維資訊的主要途徑。從目前來看，隨著機器視覺理論的發展，雙目立體視覺在機器視覺研究中發回來看了越來越重要的作用。本篇帖子主要研究了雙目視覺的數學原理。

雙目立體視覺是基於視差，由三角法原理進行三維資訊的獲取，即由兩個攝像機的影象平面和北側物體之間構成乙個三角形。已知兩個攝像機之間的位置關係，便可以獲得兩攝像機公共視場內物體的三維尺寸及空間物體特徵點的三維座標。所以，雙目視覺系統一般由兩個攝像機構成。

上圖所示為簡單的平視雙目立體成像原理圖，兩攝像機的投影中心連線的距離，即基線距離b。兩攝像機在同一時刻**時空物體的同一特徵點p，分別在「左眼」和「右眼」上獲取了點p的影象，他們的座標分別為pleft=（xleft,yleft）；pright=（xright,yright）。將定兩攝像機的影象在同一平面上，則特徵點p的影象座標的y座標一定是相同的，即yleft = yright =y。由三角幾何關係可以得到如下關係式：

則視差為：disparity=xleft-xright.由此可以計算出特徵點p在攝像機座標系下的三維座標：

因此，左攝像機像面上的任意一點只要能在右攝像機像面上找到對應的匹配點，就完全可以確定該點的三維座標。這種方法是點對點的運算，像平面上所有點只要存在相應的匹配點，就可以參與上述運算，從而獲取對應的三維座標。

在分析了最簡單的平視雙目立體視覺的三維測量原理基礎上，現在我們就有能力來考慮一般情況。如上圖所示，設左攝像機o-xyz位於世界座標系原點，且沒有發生旋轉，影象座標係為ol-x1y1，有效焦距為fl；右攝像機座標係為or-xyz，影象座標係為or-xryr，有效焦距為fr。那麼根據攝像機的投射模型我們就能得到如下關係式：

這個地方可以參考  什麼是立體重建  的座標系知識

考慮到2個攝像機，應該是

因為o-xyz座標系與or-xryrzr座標系之間的位置關係可通過空間轉換矩陣mlr表示為：

也就是之前的提到的 剛體變換：  2個攝像機座標系之間的變換

將公式3帶入公式，取代[ xr, yr , zr ] t , 就可以得到公式(4)

於是，空間點三維座標可以表示為

因此，只要我們通過計算機標定技術獲得左右計算機內引數/焦距fr,fl和空間點在左右攝像機中的影象座標，就能夠重構出被測點的三維空間座標。

關於內引數和外引數，可以參考:   

《什麼是立體重建》中提及到的相關定義

本文參考了  

by the way, 參考  所提及的:

matlab中提供了單個相機的標定，（不是雙目的）

雙目立體視覺數學原理

雙目立體視覺技術的實現一般可分為 影象獲取 攝像機標定 特徵提取 影象匹配和三維重建幾個步驟。雙目立體視覺是基於視差原理，由三角法原理進行三維資訊的獲取，即由兩個攝像機的影象平面和北側物體之間構成乙個三角形。已知兩個攝像機之間的位置關係，便可以獲得兩攝像機公共視場內物體的三維尺寸及空間物體特徵點的三...

雙目立體視覺的數學原理

雙目立體視覺是基於視差原理，由多幅影象獲取物體三維幾何資訊的方法。在機器視覺系統中，雙目視覺一般由雙攝像機從不同角度同時獲取周圍景物的兩幅數字影象，或有由單攝像機在不同時刻從不同角度獲取周圍景物的兩幅數字影象，並基於視差原理即可恢復出物體三維幾何資訊，重建周圍景物的三維形狀與位置。雙目視覺有的時候我...

雙目立體視覺的發展

雙目立體視覺的發展 machinevision 雙目立體視覺是計算機視覺的乙個重要 分支，即由不同位置的兩台或者一台攝像機攝影測量學的傳統裝置標定法。利用至少17個引數描述 雙目立體視覺是計算機視覺的乙個重要分支，即由不同位置的兩台或者一台攝像機攝影測量學的傳統裝置標 定法。利用至少17個引數描述攝...