整個雙目視覺系統流程為：採集影象對、雙目立體標定、影象校正、立體匹配和三維重建。
1. 雙目標定
雙目標定主要輸入影象採集的兩幅棋盤格影象，輸出兩個攝像機的內參矩陣k、相對的r、t；
內參4個包括：焦距fx, fy,單位是畫素pixel。
cx, cy是影象的中心畫素座標與影象原點畫素座標之間相差的橫向和縱向畫素數，單位pixel。cx、cy一般不是正好是影象解析度的一半，其是有偏差的，一般越好的攝像頭則其越接近於解析度的一半。
也有的把
dx和d
y看成內參，表示x方向和y方向的乙個畫素的mm數，是實現影象物理座標系與畫素座標系轉換的關鍵，fx=f/dx，f是mm單位，除以dx得到pixel單位。
k1,k2,k3
徑向畸變係數，
p1,p2
是切向畸變係數。
外參6個包括：r（ω、δ、 θ）3個，t（tx、ty、tz）3個，r、t組合成成的3*4的矩陣。
總的轉換關係如下：
(1)世界座標系通過外參矩陣轉換到相機座標系
(2) 相機座標系通過內參矩陣轉換到影象畫素座標系
在相機座標系->影象物理座標系的過程中發生畸變。
其中，k1,k2,k3徑向畸變係數，p1,p2是切向畸變係數。
相機座標系通過焦距對角矩陣和畸變係數轉換到影象物理座標系；
影象物理座標系通過畫素轉換矩陣轉換到畫素座標系中。這一步是在同乙個平面上做的，只不過先換了表示單位，又換了座標原點的位置。
dx和dy表示：x方向和y方向的乙個畫素分別佔多少個（可是小數）長度單位。u0，v0表示影象的中心畫素座標和影象原點畫素座標之間相差的橫向和縱向畫素數。
標定產生的幾大關鍵矩陣：
本質矩陣（essentical matrix）：
物理空間兩個攝像機相關的旋轉(r)和平移資訊(t)。將左攝像機點p的物理座標和右攝像機觀測到的相同的點的位置關聯起來。本質矩陣就是在歸一化影象座標下的基本矩陣。不僅具有基本矩陣的所有性質，而且還可以估計兩相機的相對位置關係。
基本矩陣
（fundamental matrix）：
除了包含e的資訊外，還包含了兩個攝像機的內引數
k，可以在畫素座標系將兩個攝像機關聯起來。
作用：給定乙個影象上的乙個點，被本質矩陣或基本矩陣相乘，其結果為此點在另乙個影象上的對極線，在匹配時，可以大大縮小搜尋範圍；
可用於求r 和 t。
兩者比較：
推導過程見:
2. 立體校正
立體校正是把拍攝的實景進行，消除畸變，最重要是行對準，為接下來的立體匹配提供源。
主要是利用標定生成的r、t實現。
3. 立體匹配
立體匹配目標是在兩個或多個視點中匹配相應畫素點，計算視差。通過建立乙個能量代價函式，對其最小化來估計畫素點的視差，求得深度。
這裡通過極線約束將匹配點搜尋範圍降到一維（校正過程）。
p和q對映到左相機qr像面上的同一點p≡q，直線pq上的點對應點一定位於右像面的直線p』q』上，p』q』即為直線pq的極線，這就是極線約束。
4個步驟：匹配代價計算，代價聚合，計算視差，視差精化。
匹配代價計算: 計算左右兩圖對應畫素3個通道的灰度值差來決定匹配代價，常用的就是基於畫素點匹配代價計算，一般有ad， sd，tad；基於區域的匹配代價計算一般有sad，ssd， stad。匹配代價計算會生成乙個disparity space image，也就是dsi。這個dsi是乙個三維的空間，也就是每乙個視差，得到一張代價圖。假如視差範圍是0～16，則會得到17幅代價圖。視差搜尋範圍就是middleburry**上的stereo pair值，也就是說在視差範圍內（比如0-16）內搜尋匹配代價，得到17張匹配代價圖，然後找到匹配代價最小的對應的視差值就是此畫素對應的視差。
代價聚合:乙個濾波的過程，對每一幅代價圖進行聚合，最簡單的是採用boxfilter。第一步代價計算只是得到了影象上所有孤立畫素的視差值，但是這些值都是孤立的，引入了過多雜訊，比如一片區域的視差值都是10，可是引入雜訊後就會導致這一片的視差值都不一樣，那麼就需要乙個濾波的過程，也就是我們所說的區域性立體匹配方法，即採用視窗卷積達到區域性濾波的目的。
計算視差:常用的是wta演算法（區域性），對於影象中的同乙個點，選出17幅代價圖中匹配代價最小的那張圖，該幅圖對應的視差值就選取為最終的視差。或者在全域性立體匹配中採用能量函式的方法，分為資料項和平滑項，資料項其實就是代價計算，平滑項就是代價聚合，只不過視窗大小是整幅影象，也可以試試如果把平滑項前面的係數lamda設為0，那麼得到的結果和單純代價計算的區域性立體匹配是一樣的。
視差精化：也就是對得到的視差進行優化的過程，如：左右一致性檢測、區域投票等；這步其實是很多立體匹配的遮羞布，比如用遮擋處理，中值濾波，左右一致性檢測等，都能使最後的是視差圖提公升1%左右，它是很多**的遮羞布。但是不可否認的是，立體匹配最關鍵的步驟仍然是代價計算和代價聚合步驟。
在立體匹配方法中，基於全域性和區域性的演算法有些區別。不過基本步驟都差不多。有些時候，基於區域性的演算法，第一步和第二步是合併在一起進行的，基於全域性的演算法，會跳過第二步。
雙目視覺焦距 雙目視覺系統的原理和設計
雙目立體視覺是機器視覺的一種重要形式，它是基於視差原理並由多幅影象獲取物體三維幾何資訊的方法。雙目立體視覺系統一般由雙攝像機從不同角度同時獲得被測物的兩幅數字影象，或由單攝像機在不同時刻從不同角度獲得被測物的兩幅數字影象，並基於視差原理恢復出物體的三維幾何資訊，重建物體三維輪廓及位置。雙目立體視覺原...
雙目視覺的一些部落格文章筆記
缺點 在自動駕駛領域，雙目相機可以做到標準化，因為場景是標準的，而在工業領域其場景是不同的，不同的工業場景應用不同，所以其標準化比較難，乙個標準化的解決方法是將一些底層的類別固化，比如人，貨架，牆壁等做成韌體，然後可以像搭積木一樣的快速組合成標準品。深度感知精度隨距離的增加而指數級降低 a.可不可以...
影響雙目視覺系統定位精度的因素分析
雙目視覺系統已經被廣泛應用在很多領域，但其定位精度仍難以滿足工業要求。為了進一步提高它的精度，可以限制一些引數，使引數在這些範圍內可以達到最佳精度。現在需要做的便是找到這些引數，並分析每乙個引數和可能的誤差之間的關係。本篇文章將分析影響精度的7個引數，並將其分為兩大類 第一類是系統結構引數 包括基線...