本文概述了使用立體相機獲取深度感知的主要處理步驟。
立體視覺的深度感知基於三角測量原理。我們講兩台搭載投影光學系統的相機併排放置，使兩台相機的視野在所需物距發生重疊。我們通過這兩台相機的拍攝，可以得到兩個不同角度下的場景圖。如圖1所示。物體在圓錐筒前面，圓錐筒散落排列。
在3d空間內，兩幅影象中的每乙個可見表面點通過兩條射線連線至兩台相機的投影中心。需要生成3d場景，我們需要完成兩項任務:
1.確定左側影象中每乙個可見表面點在右側影象中的位置
2.了解相機成像的幾何模型，以計算射線交叉點，獲得左右相機的關聯畫素點。我們現在假設兩台相機彼此緊密相連，所以在校正期間，就只需要進行一次成像幾何模型計算。
在立體標定的過程中，首先需要計算出兩台相機的成像幾何模型。
一般通過棋盤格率先對相機進行標定。如圖所示。
標定結束後，即可進行同步影象對。即想辦法獲取左右兩台相機中同一圖案不同位置、方位和距離。之後，我們就可以通過每**像對中圖案圓點的畫素位置和其在標定板上的已知位置，計算出所有觀察圖案的3d姿態和立體相機的精確模型。該模型由每台相機的內引數(相機的焦距和畸變)和外引數(左右相機間的三位旋轉和平移)構成。 我們可以使用此標定資料對每幅影象中已識別的對應點進行三角測量，並恢復其相對於相機的公制3d座標。
下文三部分描述了計算影象對中每個畫素點的3d位置所需要的處理步驟。對於捕獲的每個立體影象，這些步驟必須實時進行執行才能夠獲取場景的3d點雲或3d表面。
下列3**像對體現了校正過程。第一**像對：在畸變原始影象中，極線呈現曲線狀。第二**像對：消除影象畸變，極線呈現直線形狀。第三**像對：校正後，極線與影象軸對齊。可沿影象掃瞄線求解視差。
第一**像對顯示了部分手動標記點視差以及其極線。在原始相機影象中，極線由於相機光學系統造成的畸變而呈現曲線狀。沿曲線狀極線求解視差不僅耗時久，而且複雜。但是我們可以反向應用標定過程中習得的畸變，以此消除影象畸變。得出的無畸變影象便擁有直線狀極線。（第二組）
儘管極線呈直線狀，但在每幅影象中，不同部分的極線卻有著不同方向。該現象因影象平面（即相機感測器）既不完全共面，又不具相同方向而引起。位進一步加快求解視差，我們可以利用標定過程計算的相機成像幾何模型，並對影象進行其他透視轉換，從而將極線與影象掃麵線2對齊。此步驟成為校正。現在，我們只需要簡單地在右側影象相同掃瞄線上確定最佳匹配位置，即可找到白色圓錐尖頂。僅在校正影象後（第三組），執行所有後續處理步驟。
為了對成像點進行三角測量，我們需要確定左右影象中的對應影象部分。考慮到左側影象有一小塊影象塊，我們可以通過簡單搜尋右側的整幅影象實現完美匹配。然而這種做法耗時久，無法實時匹配。
那麼到底該如何做呢?我們直覺告訴我們，不需要在右側影象的下半部分進行搜尋。事實上，我們在之前就已經給出了答案，就是用極線。兩台投影相機的成像幾何模型將搜尋區域限制在右側影象的一維直線上，即我們所說的極線。
對於左側影象中的每個畫素點，我們現可在右側影象（捕獲相同物件點）相同掃面先上搜尋匹配的畫素點。單個畫素值一般辨識度不足，無法準確找到對應畫素點。因此，我們通常嘗試利用i畫素點周圍的小窗格（7*7）與右側影象同⼀⾏中所有可能對應的創哥進⾏匹配。隨著進⼀步配準，我們無需搜尋一整行，只需確定左側影象畫素x座標左側的少數畫素點，相當於眼睛在聚焦較近物體時，需輕微的視線交叉。這不僅加速匹配過程，⽽且能限定可進⾏三⻆測量的畫素點的深度範圍。如果匹配結果正確且具有唯一性，則我們將左側影象的畫素點和右側影象對應畫素點關聯起來，並以畫素點在x週上的座標位置偏移量的形式，將關聯資訊儲存在視差圖中。
如下圖所示。影象匹配結果視差圖利用左右影象之間畫素點偏移量顯示深度資訊。特定視差值（此處以黑色標記）表明畫素點無法在右側影象中識別。若物體存在遮擋或反射區域，則會出現視差；遮擋或反射區域在兩台相機中顯示的位置不同。
由於該匹配技術僅使用每個畫素點周圍的區域性資訊，因此被稱為區域性立體匹配。顯然，只有當某影象部分與同一掃瞄線上的其他影象部分差異較大時，我們才能夠匹配左右影象的相應區域。因此，區域性立體匹配不適用於弱紋理區域或重複紋理區域。另一種技術稱為全域性立體匹配，同樣可以利用鄰域資訊。該技術不只是通過單獨考慮每個畫素點（或影象塊）來尋找匹配目標，而是試圖為左右影象中所有畫素點迅速找到畫素分配方案。全域性分配還考慮到大部分影象表面是光滑的，因此相鄰畫素點通常具有相似深度。對比區域性立體匹配技術，全域性立體匹配技術更為複雜，需要更高的處理能力，但其所需的表面紋理較少，且結果更為精準（尤其在物體邊界處）。
無論使用哪一種匹配技術，左右影象畫素點之間都存在關聯，並且該關聯資訊將儲存於視差圖中。畫素偏移量經過編碼，轉換為視差圖中的視差值，其匹配畫素點見下面影象對應位置。
4.2節的示意圖闡明了視差概念。接著，我們可以利用標定過程中獲取的成像幾何模型，將基於畫素的視差值轉換為每個畫素的實際公制x、y和z軸座標。這一轉換過程成為重新投影。左右影象中每個關聯的畫素點組成的兩條射線可簡單相交。轉換得到的xyz座標即為點雲。點雲通常儲存為三通道影象，以防止將某畫素點的鄰域資訊傳播給影象畫素網格。
基於結構光的立體視覺
1介紹 對立體視覺進行介紹，分析現有的缺陷。如何引進結構光，測量的原理和標定，效能測試與評估。二維的影象無法獲取深度資訊。雙目立體視覺 特徵提取 sift,suft,orb。特徵描述 特徵匹配 犧牲特徵點的數量。特徵點數目比較少，比較稀疏。無法實現識別。結構光視覺 視覺範圍 小於5m，精度 最大0....
機器視覺 基於立體視覺的變形測量
機器視覺 攝影測量 計算機視覺 立體視覺 變形測量 變形測量是機械 材料以及土木工程結構健康監測等研究工作中重要的內容，結構在負荷情況下力學行為的研究和 是在對結構變形精確測量的基礎上實現的。特別是近年來，結構動態效能已經成為土木工程領域的重要研究內容之一。結構動態效能的表現包括位移 速度 加速度，...
3D視覺原理之深度暗示（即立體感）
本文總結了產生深度暗示 即立體感 的幾種情況 產生深度暗示主要有兩種 心理深度暗示和生理深度暗示。心理深度暗示主要由平時的經驗積累獲得。即使用單眼 也會使人有3d效果。它主要包括以下幾種 視網膜像的大小。我們通過後天學習已經確知乙個物體大小時，可以通過判斷看見該物體的大小來粗略估計它的遠近。線性透視...