目前大多數深度估計方法是通過2d的到2.5d的表面形狀(場景深度)。
比較成功的基於幾何影象方法包括:structure from motion,shape from x,monocular stereo,binocular stereo和multi-view stereo
其中shape from x中的x包括:shading(單幅影象明暗)、stereo vision(立體視覺法–上邊的單目,雙目和多目立體視覺)、photometric stereo(光度立體法)、texture(紋理)、motion(運動–structure from motion)、contour(輪廓)、shadow(陰影)
目前通過深度學習的方法結合傳統幾何影象法:(單目,雙目,多目)—監督學習,非監督學習,半監督學習
具體方法引自:
從明暗恢復形狀( shape f rom shading , 簡稱sfs):
是計算機視覺中三維形狀恢復問題的關鍵技術之一,其任務是利用單幅圖象中物體表面的明暗變化來恢復其表面各點的相對高度或表面法方向等引數值,為進一步對物體進行三維重構奠定基礎。由單幅影象灰度明暗變化恢復三維形狀的過程可以看作成像過程的逆過程。對實際影象而言,其表面點影象亮度受到了許多因素,如光源、物體表面材料性質和形狀,以及攝像機(或觀察者)位置和引數等的影響。由單幅影象灰度明暗變化恢復三維形狀是在一定的約束條件下從平滑變化的灰度影象恢復出表面法向資訊,即根據物體表面反射模型建立物體表面三維形狀與採集的影象灰度之間關係的反射圖方程,以及由先驗知識所建立的對物體表面形狀引數的約束條件,對這些關係求解可得到物體表面三維形狀。傳統sfs方法均進行了如下假設:( 1)光源為無限遠處點光源;( 2)反射模型為朗伯體表面反射模型( lambertian); ( 3)成象幾何關係為正交投影。
立體視覺法(shape from stereo vision)
可以分為雙目和多目立體視覺兩種型別。簡要說明雙目立體視覺的原理。與人類雙目視覺的感知過程類似,雙目立體視覺從兩個不同視點觀察同一物體可以得到不同視角下的影象,通過分析不同影象中同一像點的不同視差來獲取物體表面的三維空間資訊。立體視覺系統可以分為影象採集、攝像機標定、特徵提取、立體匹配、深度恢復及三維表面插值等部分組成。目前有mti人工智慧實驗室、yale機器視覺機械人實驗室、哈爾濱工業大學、中科院自動化所、西安交通大學、sony公司、intel公司等國內外多家研究機構都在從事立體視覺方面的研究。立體視覺法測量方法簡單,但該方法的主要缺點是攝像機需要標定,影象特徵匹演算法複雜。
光度立體法(shape from photometric stereo)
避免了對應點匹配問題,使用單目多幅影象中蘊涵的三維資訊恢復被測物件三維形狀。一幅影象畫素點的灰度主要由如下因素決定:物體的形狀、物體相對於光源和攝像機的位置、光源和攝像機的相對位置,以及物體的物理表面反射特性等。光度立體法固定攝像機和物體的位置,通過控制光源方向,在一系列不同光照條件下採集影象,然後由這幾幅影象的反射圖方程求解物體表面法向量,進而重構物體三維形狀。ikeuchi等使用光度立體法開發出一套機械人視覺系統,lee提出一種將光度立體法和sfs方法相結合的三維重構方法。光度立體方法不需要求解反射圖方程,方法實現簡便。但需要改變光源位置,採集多幅影象,無法使用於自然光或固定光源的物體表面三維重構。
由紋理恢復形狀方法(shape from texture)
利用物體表面的紋理資訊確定表面方向進而恢復出表面三維形狀。紋理由紋理元組成,紋理元可以看作是影象區域中具有重複性和不變性的視覺基元,紋理元在不同的位置和方向反覆出現。由紋理元的變化可以對物體表面法向量方向進行恢復。常用的紋理恢復形狀方法有三類:利用紋理元尺寸變化、利用紋理元形狀變化以及利用紋理元之間關係變化對物體表面梯度進行恢復。gibson在2023年首先提出了由紋理或紋理梯度表面深度的變化,kender提出了一種恢復由規則的平行線組成的柵格表面取向的方法。這種方法對物體表面的紋理資訊要求嚴格,需要掌握成像投影中紋理元的畸變資訊,只有在紋理特性確定的條件下才能應用。該方法精度較低,而且適用性差,實際應用較少。
由運動恢復形狀方法(shape from motion)
當目標與攝像機在發生相對運動時,攝像機拍攝對應的影象序列,可通過分析該圖象序列獲得場景的三維資訊。攝像機與場景目標間有相對運動時所觀察到的亮度模式變化顯示出的運動稱為光流(optical flow)。光流表示影象的變化,它包含了目標的運動資訊,由此可以確定觀測者與目標的相對運動,並且可以根據光流求解表面法向量。從運動恢復形狀方法適用於被測物件處於運動狀態,利用目標與攝像機相對運動來獲得場景中目標之間的位置關係,需要多幅影象,不使用靜態的場景。同時序列圖象畫素間的匹配對測量計算精確度影響較大。
由輪廓恢復形狀方法(shape from contour)
影象的輪廓是物體表面的邊緣在影象平面的投影。barrow與tennnenboum將輪廓線分為兩類,一是不連續輪廓線,它對應物體表面的中斷或轉折處,形成原因是物體表面法向量在這裡發生不連續變化,另一種是occluding輪廓線,它對應物體表面的法向量光滑地與攝像機垂直,形成原因是物體表面到攝像機的距離在這裡發生不連續變化。不連續輪廓線應用於多面體結構的重構和定位,occluding輪廓線用於恢復物體表面的區域性特徵或全域性特徵。karl研究了正交投影下用occluding輪廓線全域性地恢復非退化二次曲面形狀。
由陰影恢復形狀方法(shape from shadow)
影象的陰影邊界蘊涵了影象的輪廓資訊,因此可以根據不同的光照條件下影象的陰影恢復物體表面的三維形狀。michael提出了一種由陰影恢復形狀的優化演算法。目前國內外對這種方法的研究比較少。其他的非接觸三維測量方法有如ct方法,飛行時間法等
深度學習方法簡要理解
遷移學習 transfer learning 顧名思義就是就是把已學訓練好的模型引數遷移到新的模型來幫助新模型訓練。考慮到大部分資料或任務是存在相關性的,所以通過遷移學習我們可以將已經學到的模型引數 也可理解為模型學到的知識 通過某種方式來分享給新模型從而加快並優化模型的學習效率不用像大多數網路那樣...
SR彙總 基於深度學習方法
1 srcnn fsrcnn learning a deep convolutional network for image super resolution,eccv2014 accelerating the super resolution convolutional neural networ...
一種深度學習方法 遷移學習
接下來我會介紹關於遷移學習的以下內容。它是什麼?它是如何工作的?為什麼使用它?什麼時候使用?轉移學習的方法 訓練模型 使用預先訓練的模型 和特徵提取 遷移學習 遇到乙個新問題,不是從頭訓練乙個網路模型,而是在現有的預訓練模型上,再次訓練或者直接使用。因為他可以用較少的資料來訓練深度神經網路,如果你資...