雙目估計方法 教你提高雙目立體視覺系統的精度!

2021-10-10 23:55:22 字數 3211 閱讀 7205

雙目立體視覺(binocular stereo vision)是機器視覺的一種重要形式,它是基於視差原理並利用成像裝置從不同的位置獲取被測物體的兩幅影象,通過計算影象對應點間的位置偏差,來獲取物體三維幾何資訊的方法1。

精度,是雙目立體視覺至關重要的指標。

雙目立體視覺系統,不談精度幾許,未免顯得業餘!
精度不行?

「來,小同志往邊上讓一讓,下乙個!」
精度很高?

「小夥子你們裝置多少錢!能打個折不!」
做過雙目研究的夥伴們,肯定是經常和精度打交道的,大部分人也肯定知道,雙目立體視覺的精度主要看的是深度方向的精度!深度圖是很多雙目裝置的輸出資料,通過深度圖以及相機引數,可以算出三維點雲的空間座標,公式如下:

可知深度d dd的角色感很強,把深度估計準了,那三維點也就準了。(什麼,相機標定也不准?當我沒說!)

所以,如何讓深度精度更高?

我們再來看乙個經典公式:

這可再熟悉不過了,

是深度,

是基線,

是焦距(畫素單位),

是視差。咱們一分為二看這個公式,右邊分母部分是畫素視差值,和演算法相關;分子部分是系統硬體引數,和硬體相關。

可知深度精度是由演算法和硬體綜合決定。

研發:「哥們,你們硬體做的不行啊!」

硬體:「屁,是你們演算法不行!」

老闆:「都是廢物!」

對各引數不太清楚的同學可以看下圖:

咱們先分析演算法對精度的影響。那麼硬體引數

和 就假設是已知且恆定的了。

假設視差偏差為

,則計算視差偏差

下的深度偏差

(修訂:假設視差偏差和深度偏差都是正值(假設負值同理),公式(2)左邊應該是減號)

和 已知且恆定,如果我們把

也恆定,也就是在同乙個深度距離下評判精度,由公式(1)可知

也就恆定。此時容易發現,

越小,

越小。說明:

(一)視差偏差越小,深度偏差越小;換言之,演算法的視差精度越高,深度精度越高,深度精度和視差精度成正比。

所以更高精度的視差估計演算法,自然能帶來更高的深度精度。

上面分析演算法對精度的影響,所以固定了硬體引數

和 。現在我們來分析視差精度恆定的情況下,硬體引數如何影響精度。還是基於上面三個公式,但是做一些修改,把公式(1)代入到(3)中,如下:

(修訂:假設視差偏差和深度偏差都是正值(假設負值同理),公式(2)左邊應該是減號)

同樣,我們把

恆定,也就是在同乙個深度距離下評判精度,因為視差精度恆定(也就是視差估計算法定了,精度差不多固定了),因此

也恆定。不難發現,

和 對

有相同的影響關係,

越大、

越大,

越小。說明:

(二)基線越大、焦距(畫素單位)越長,深度精度越高。深度精度和基線、焦距成正比。

從公式中我們看到,影響

的實際是基線和焦距的乘積,所以若兩個一起增大,那深度精度必然增大,若乙個增大乙個減小,那麼深度精度可能增大也可能減小。

另乙個需要說明的是,

是焦距的畫素單位,它和焦距的空間尺寸和畫素大小有關,設焦距的空間尺寸為

,畫素大小為

,則 的計算公式為:

顯然,

越小,

越大。我們知道

的大小是相機感測器尺寸決定的,而焦距是鏡頭決定的。所以選相機的時候要了解第三個知識:

(三)畫素大小越小,同樣的物理尺寸焦距有更長的畫素尺寸焦距,深度精度就越高。

上面我們分析了演算法引數和硬體引數對深度精度的影響,但還有乙個重要的因素,它即非硬體相關也非演算法相關,它就是深度本身的大小,也即深度範圍。簡單的說,目標離鏡頭的距離不同,精度是不一樣的。

這裡討論深度範圍,所以假設

、 和

都恆定。顯然可以發現,

越小,

越小。所以我們得出第四個結論:

(四)測量目標離系統越近,深度精度越高。

我想大家其實在實際應用中都會有一些直觀的理解,比如(1)演算法越好,精度越高,明擺著嘛!(2)相機解析度越高,精度越高,這不廢話嘛!(3)基線越長,精度越高,顯而易見嘛!

(一)視差偏差越小,深度偏差越小;換言之,演算法的視差精度越高,深度精度越高,深度精度和視差精度成正比。(二)基線越大、焦距(畫素單位)越長,深度精度越高。深度精度和基線、焦距成正比。(三)畫素大小越小,同樣的物理尺寸焦距有更長的畫素尺寸焦距,深度精度就越高。(四)測量目標離系統越近,深度精度越高。
所以同學們你們現在知道怎麼設計雙目系統能提高精度了嗎?

(1)選高精度視差估計演算法(2)在應用場景允許、結構穩定性滿足需求的情況下,盡可能延長基線。(3)在視場範圍、景深滿足需求的情況下,盡可能選擇長焦鏡頭(4)在算力允許的情況下,選擇高解析度相機(本質上應該是畫素尺寸小的相機,有的相機提高了解析度,只是提公升了視域,但畫素尺寸不變,那精度也不變)(5)測量距離適當拉近(這點往往是場景需求決定的)

雙目立體視覺之深度估計

在此解答一下 首先,確實人通過乙隻眼也可以獲得一定的深度資訊,不過這背後其實有一些容易忽略的因素在起作用 一是因為人本身對所處的世界是非常了解的 先驗知識 因而對日常物品的大小是有乙個基本預判的 從小到大多年的視覺訓練 根據近大遠小的常識確實可以推斷出影象中什麼離我們遠什麼離我們近 二是人在單眼觀察...

雙目立體視覺的發展

雙目立體視覺的發展 machinevision 雙目立體視覺是計算機視覺的乙個重要 分支,即由不同位置的兩台或者一台攝像機攝影測量學的傳統裝置標定法。利用至少17個引數描述 雙目立體視覺是計算機視覺的乙個重要分支,即由不同位置的兩台或者一台攝像機攝影測量學的傳統裝置標 定法。利用至少17個引數描述攝...

雙目立體視覺數學原理

雙目立體視覺技術的實現一般可分為 影象獲取 攝像機標定 特徵提取 影象匹配和三維重建幾個步驟。雙目立體視覺是基於視差原理,由三角法原理進行三維資訊的獲取,即由兩個攝像機的影象平面和北側物體之間構成乙個三角形。已知兩個攝像機之間的位置關係,便可以獲得兩攝像機公共視場內物體的三維尺寸及空間物體特徵點的三...