雙目立體視覺的發展
machinevision
雙目立體視覺是計算機視覺的乙個重要 分支，即由不同位置的兩台或者一台攝像機攝影測量學的傳統裝置標定法。利用至少17個引數描述
雙目立體視覺是計算機視覺的乙個重要分支，即由不同位置的兩台或者一台攝像機攝影測量學的傳統裝置標 定法。利用至少17個引數描述攝像機與三維物體空間的結束關係，計算量非常大。
（2）直接線性變換性。涉及的引數少、便於計算。
（3）透視變換短陣法。從透視變換的角度來建立攝像機的成像模型，無需初始值，可進行實時計算。
（4）相機標定的兩步法。首先採用透視短陣變換的方法求解線性系統的攝像機引數，再以求得的引數為初始值，考慮畸變因素，利用最優化方法求得非線性 解，標定精度較高。
（5）雙平面標定法。
在雙攝像機標定中，需要精確的外部引數。由於結構配置很難準確，兩個攝像機的距離和視角受到限制，一般都需要至少6個以上（建議取10個以上）的已 知世界座標點，才能得到比較滿足的引數矩陣，所以實際測量過程不但複雜，而且效果並不一定理想，大大地限制了其應用範圍。此外雙攝像機標定還需考慮鏡頭的 非線性校正、測量範圍和精度的問題，目前戶外的應用還有少。
上海大學通訊與資訊工程學院提出了基於神經網路的雙目立體視覺攝像機標定方法。首先對攝像機進行線性標定，然後通過網路練習建立起三維空間點位置補 償的多層前饋神經網路模型。此方法對雙目立體視覺攝像機的標定具有較好的通用性，但是精確測量控制點的世界座標和影象座標是一項嚴格的工作。因此神經網路 中練習樣本集的獲得非常困難。
1.3 特徵點提取
立體像對中需要撮的特徵點應滿足以下要求：與感測器型別及抽取特徵所用技術等相適應；具有足夠的魯棒性和一致性。需要說明的是：在進行特徵點像的坐 標提取前，需對獲取的影象進行預處理。因為在影象獲取過程中，存在一系列的雜訊源，通過此處理可顯著改進影象質量，使影象中特徵點更加突出。
1．4 立體匹配
立體匹配是雙目體視中最關係、困難的一步。與普通的影象配準不同，立體像對之間的差異是由攝像時觀察點的不同引起的，而不是由其它如景物本身的變 化、運動所引起的。根據匹配基元的不同，立體匹配可分為區域匹配、特徵匹配和相位匹配三大類。
區域匹配演算法的實質是利用區域性視窗之間灰度資訊的相關程度，它在變化平緩且細節豐富的地方可以達到較高的精度。但該演算法的匹配窗大小難以選擇，通常 借助於視窗外形技術來改善視差不連續處的匹配；其次是計算量大、速度慢，採取由粗至精分級匹配策略能大大減少搜尋空間的大小，與匹配窗大小無關的互相關運 算能顯著提高運算速度。
特片匹配不直接依靠於灰度，具有較強的抗干擾性，計算量小，速度快。但也同樣存一些不足：特徵在影象中的稀疏性決定特徵匹配只能得到稀疏的視差場； 特徵的撮和定位過程直接影響匹配結果的精確度。改善辦法是將特徵匹配的魯棒性和區域匹配的緻密性充分結合，利用對高頻雜訊不敏感的模型來提取和定位特徵。
相位匹配是近二十年才發展起來的一類匹配演算法。相位作為匹配基元，本身反映訊號的結構資訊，對影象的高頻雜訊有很好的抑制作用，適於並行處理，能獲 得亞畫素級精度的緻密視差。但存在相位奇點和相位捲繞的問題，需加入自適應濾波器解決。
1．5 三維重建
在得到空間任一點在兩個影象中的對應座標和兩攝像機引數矩陣的條件下，即可進行空間點的重建。通過建立以該點的世界座標為未知數的4個線性方程，可 以用最小二乘法求解得該點的世界座標。實際重建通常採用外極線結束法。空間眯、兩攝像機的光心這三點組成的平面分別與兩個成像平面的交線稱為該空間點在這 兩個成像平面中的極線。一旦兩攝像機的內外引數確定，就可通過兩個成像平面上的極線的約束關係建立對應點之間的關係，並由此聯立方程，求得影象點的世界坐 標值。對影象的全畫素的三維重建目前僅能針對某一具體目標，計算量大且效果不明顯。
2 雙目體視的最新應用
2．1 國外研究動態
雙目體視目前主要應用於四個領域：機械人導航、
微作業系統的引數檢測、三維測量和虛擬實境。
日本大阪大學自適應機械系統研究院研製了一種自適應雙目視覺伺服系統，利用雙目 體視的原理，如每幅影象中相對靜止的三個標誌為參考，實時計算目標影象的雅可比短陣，從而猜測出目標下一步運動方向，實現了對動方式未知的目標的自適應跟 蹤。該系統僅要求兩幅影象中都有靜止的參考標誌，無需攝像機引數。而傳統的視覺跟蹤伺服系統需事先知道攝像機的運動、光學等引數和目標的運動方式。
日本奈良科技大學資訊科學學院提出了一種基於雙目立體視覺的增強現實系統（ar）註冊方法，通過動態修正特徵點的位置提高註冊精度。該系統將單攝像 機註冊（mr）與立
體視覺註冊和現實場景的三維空間座標進行非接觸精密測量。
哈工大採用異構雙目活動視覺系統實現了全自主足球機械人導航。將乙個固定攝像機和乙個可以水平旋轉的攝像機，分別安裝在機械人的頂部和中下部，可以同時監 視不同方位視點，體現出比人類視覺優越的一面。通過合理的資源分配及協調機制，使機械人在視野範圍、測跟精度及處理速度方面達到最佳匹配。雙目協調技術可 使機械人同時捕捉多個有效目標，觀測相遇目標時通過資料融合，也可提高測量精度。在實際比賽中其他感測器失效的情況下，僅僅依靠雙目協調仍然可以實現全自 主足球機械人導航。
火星863計畫課題「人體三維尺寸的非接觸測量」，採用「雙視點投影光柵三維測量」原理，由雙攝像機獲取影象對，通過計 算機進行影象資料處理，不僅可以獲取服裝設計所需的特徵尺寸，還可根據需要獲取人體影象上任意一點的三維座標。該系統已通過中國人民解放軍 總後勤部軍需部鑑定。可達到的技術指標為：資料採集時間小於5s/人；提供身高、胸圍、腰圍、臀圍等圍度的測量精度不低於1.0cm。
3 雙目體視的發展方向
就又目立體視覺技術的發展現狀而言，要構造出類似於人眼的通用雙目立體視覺系統，還有很長的路要走，進一步的研究方向可歸納如下：
（1）如何建立更有效的雙目體視模型，能更充分地反映立體視覺不確定性的本質屬性，為匹配提供更多的約束資訊，降低立體匹配的難度。
（2）探索新的適用於全面立體視覺的計算理論和匹配策略，選擇有效的匹配準則和演算法結構，以解決存在灰度失真、幾何畸變（透視、旋轉、縮放等）、噪 聲干擾、非凡結構（平坦匹域、重複相似結構等）及遮掩景物的匹配問題；
（3）演算法向並行化發展，提高速度，減少運算量，增強系統的實用性。
（4）強調場景與任務的結束，針對不同的應用目的，建立有目的和面向任務的體視系統。
雙目體視這一有著廣闊應用前景的學科，隨著光學、電子學以及計算機技術的發展，將不斷進步，逐漸實用 化，不僅將成為工業檢測、生物醫學、虛擬實境等領域的關鍵技術，還有可能應用於航天遙測、軍事偵察等領域。目前在國外，雙目體視技術已廣泛應用於生產、生 活中，而我國正處於初始階段，尚需廣大科技工共同努力，為其發展做出貢獻。
雙目立體視覺之深度估計
在此解答一下 首先，確實人通過乙隻眼也可以獲得一定的深度資訊，不過這背後其實有一些容易忽略的因素在起作用 一是因為人本身對所處的世界是非常了解的 先驗知識 因而對日常物品的大小是有乙個基本預判的 從小到大多年的視覺訓練 根據近大遠小的常識確實可以推斷出影象中什麼離我們遠什麼離我們近 二是人在單眼觀察...
雙目立體視覺數學原理
雙目立體視覺技術的實現一般可分為 影象獲取 攝像機標定 特徵提取 影象匹配和三維重建幾個步驟。雙目立體視覺是基於視差原理，由三角法原理進行三維資訊的獲取，即由兩個攝像機的影象平面和北側物體之間構成乙個三角形。已知兩個攝像機之間的位置關係，便可以獲得兩攝像機公共視場內物體的三維尺寸及空間物體特徵點的三...
雙目立體視覺的數學原理
雙目立體視覺是基於視差原理，由多幅影象獲取物體三維幾何資訊的方法。在機器視覺系統中，雙目視覺一般由雙攝像機從不同角度同時獲取周圍景物的兩幅數字影象，或有由單攝像機在不同時刻從不同角度獲取周圍景物的兩幅數字影象，並基於視差原理即可恢復出物體三維幾何資訊，重建周圍景物的三維形狀與位置。雙目視覺有的時候我...