深度估計方法的介紹

2021-08-21 14:09:20 字數 2768 閱讀 9388

目前大多數深度估計方法是通過2d的到2.5d的表面形狀(場景深度)。

比較成功的基於幾何影象方法包括:structure from motion,shape from x,monocular stereo,binocular stereo和multi-view stereo

其中shape from x中的x包括:shading(單幅影象明暗)、stereo vision(立體視覺法–上邊的單目,雙目和多目立體視覺)、photometric stereo(光度立體法)、texture(紋理)、motion(運動–structure from motion)、contour(輪廓)、shadow(陰影)

目前通過深度學習的方法結合傳統幾何影象法:(單目,雙目,多目)—監督學習,非監督學習,半監督學習

具體方法引自:

從明暗恢復形狀( shape f rom shading , 簡稱sfs):

是計算機視覺中三維形狀恢復問題的關鍵技術之一,其任務是利用單幅圖象中物體表面的明暗變化來恢復其表面各點的相對高度或表面法方向等引數值,為進一步對物體進行三維重構奠定基礎。由單幅影象灰度明暗變化恢復三維形狀的過程可以看作成像過程的逆過程。對實際影象而言,其表面點影象亮度受到了許多因素,如光源、物體表面材料性質和形狀,以及攝像機(或觀察者)位置和引數等的影響。由單幅影象灰度明暗變化恢復三維形狀是在一定的約束條件下從平滑變化的灰度影象恢復出表面法向資訊,即根據物體表面反射模型建立物體表面三維形狀與採集的影象灰度之間關係的反射圖方程,以及由先驗知識所建立的對物體表面形狀引數的約束條件,對這些關係求解可得到物體表面三維形狀。傳統sfs方法均進行了如下假設:( 1)光源為無限遠處點光源;( 2)反射模型為朗伯體表面反射模型( lambertian); ( 3)成象幾何關係為正交投影。

立體視覺法(shape from stereo vision)

可以分為雙目和多目立體視覺兩種型別。簡要說明雙目立體視覺的原理。與人類雙目視覺的感知過程類似,雙目立體視覺從兩個不同視點觀察同一物體可以得到不同視角下的影象,通過分析不同影象中同一像點的不同視差來獲取物體表面的三維空間資訊。立體視覺系統可以分為影象採集、攝像機標定、特徵提取、立體匹配、深度恢復及三維表面插值等部分組成。目前有mti人工智慧實驗室、yale機器視覺機械人實驗室、哈爾濱工業大學、中科院自動化所、西安交通大學、sony公司、intel公司等國內外多家研究機構都在從事立體視覺方面的研究。立體視覺法測量方法簡單,但該方法的主要缺點是攝像機需要標定,影象特徵匹演算法複雜。

光度立體法(shape from photometric stereo)

避免了對應點匹配問題,使用單目多幅影象中蘊涵的三維資訊恢復被測物件三維形狀。一幅影象畫素點的灰度主要由如下因素決定:物體的形狀、物體相對於光源和攝像機的位置、光源和攝像機的相對位置,以及物體的物理表面反射特性等。光度立體法固定攝像機和物體的位置,通過控制光源方向,在一系列不同光照條件下採集影象,然後由這幾幅影象的反射圖方程求解物體表面法向量,進而重構物體三維形狀。ikeuchi等使用光度立體法開發出一套機械人視覺系統,lee提出一種將光度立體法和sfs方法相結合的三維重構方法。光度立體方法不需要求解反射圖方程,方法實現簡便。但需要改變光源位置,採集多幅影象,無法使用於自然光或固定光源的物體表面三維重構。

由紋理恢復形狀方法(shape from texture)

利用物體表面的紋理資訊確定表面方向進而恢復出表面三維形狀。紋理由紋理元組成,紋理元可以看作是影象區域中具有重複性和不變性的視覺基元,紋理元在不同的位置和方向反覆出現。由紋理元的變化可以對物體表面法向量方向進行恢復。常用的紋理恢復形狀方法有三類:利用紋理元尺寸變化、利用紋理元形狀變化以及利用紋理元之間關係變化對物體表面梯度進行恢復。gibson在2023年首先提出了由紋理或紋理梯度表面深度的變化,kender提出了一種恢復由規則的平行線組成的柵格表面取向的方法。這種方法對物體表面的紋理資訊要求嚴格,需要掌握成像投影中紋理元的畸變資訊,只有在紋理特性確定的條件下才能應用。該方法精度較低,而且適用性差,實際應用較少。

由運動恢復形狀方法(shape from motion)

當目標與攝像機在發生相對運動時,攝像機拍攝對應的影象序列,可通過分析該圖象序列獲得場景的三維資訊。攝像機與場景目標間有相對運動時所觀察到的亮度模式變化顯示出的運動稱為光流(optical flow)。光流表示影象的變化,它包含了目標的運動資訊,由此可以確定觀測者與目標的相對運動,並且可以根據光流求解表面法向量。從運動恢復形狀方法適用於被測物件處於運動狀態,利用目標與攝像機相對運動來獲得場景中目標之間的位置關係,需要多幅影象,不使用靜態的場景。同時序列圖象畫素間的匹配對測量計算精確度影響較大。

由輪廓恢復形狀方法(shape from contour)

影象的輪廓是物體表面的邊緣在影象平面的投影。barrow與tennnenboum將輪廓線分為兩類,一是不連續輪廓線,它對應物體表面的中斷或轉折處,形成原因是物體表面法向量在這裡發生不連續變化,另一種是occluding輪廓線,它對應物體表面的法向量光滑地與攝像機垂直,形成原因是物體表面到攝像機的距離在這裡發生不連續變化。不連續輪廓線應用於多面體結構的重構和定位,occluding輪廓線用於恢復物體表面的區域性特徵或全域性特徵。karl研究了正交投影下用occluding輪廓線全域性地恢復非退化二次曲面形狀。

由陰影恢復形狀方法(shape from shadow)

影象的陰影邊界蘊涵了影象的輪廓資訊,因此可以根據不同的光照條件下影象的陰影恢復物體表面的三維形狀。michael提出了一種由陰影恢復形狀的優化演算法。目前國內外對這種方法的研究比較少。其他的非接觸三維測量方法有如ct方法,飛行時間法等。

軟體專案規模估計方法介紹

軟體專案的規模估算歷來是比較複雜的事,因為軟體本身的複雜性 歷史經驗的缺乏 估算工具缺乏以及一些人為錯誤,導致軟體專案的規模估算往往和實際情況相差甚遠。因此,估算錯誤已被列入軟體專案失敗的四大原因之一。軟體工程師經常會被問到,編乙個什麼什麼樣的軟體需要多長時間 多少錢。面對這個問題,有不少人很犯難,...

DeMoN 深度與運動估計的網路學習

demon depth and motion network for learning monocular stereo taylor guo,2017年05月20日 本文將運動恢復結構問題表示為乙個深度學習問題。我們訓練了乙個端到端的卷積神經網路從連續的無約束的影象對中計算深度和相機運動。這個架構...

雙目立體視覺之深度估計

在此解答一下 首先,確實人通過乙隻眼也可以獲得一定的深度資訊,不過這背後其實有一些容易忽略的因素在起作用 一是因為人本身對所處的世界是非常了解的 先驗知識 因而對日常物品的大小是有乙個基本預判的 從小到大多年的視覺訓練 根據近大遠小的常識確實可以推斷出影象中什麼離我們遠什麼離我們近 二是人在單眼觀察...