三維重建技術通過深度資料獲取、預處理、點雲配準與融合、生成表面等過程，把真實場景刻畫成符合計算機邏輯表達的數學模型。
一、三維重建技術
它的核心思想是從二維影象恢復三維結構
它的重點在於如何獲取目標場景或物體的深度資訊。在景物深度資訊已知的條件下，只需要經過點雲資料的配準及融合，即可實現景物的三維重建。基於三維重建模型的深層次應用研究也可以隨即展開。人們按照被動式測量與主動式測量對目標物體深度資訊的獲取方法進行了分類，下面對這兩種方式進行相應的介紹。
★被動式三維重建技術
被動式一般利用周圍環境如自然光的反射，使用相機獲取影象，然後通過特定演算法計算得到物體的立體空間資訊。
主要有以下三種方法：
1.紋理恢復形狀法
各種物體表面具有不同的紋理資訊，這種資訊由紋理元組成，根據紋理元可以確定表面方向，從而恢復出相應的三維表面。這種方法稱為紋理恢復形狀法(shape from texture，sft)。
2.陰影恢復形狀法
sfs (shape from shading，從陰影恢復形狀)法也是一種較為常用的方法。考慮到影象的陰影邊界包含了影象的輪廓特徵資訊，因此能夠利用不同光照條件下的影象的明暗程度與陰影來計算物體表面的深度資訊，並以反射光照模型進行三維重建。需要注意的是，畫素點的亮度受到包括光源指標、攝像機引數、目標表面材質等的制約。
陰影恢復形狀法的應用範圍比較廣泛，可以恢復除鏡面外的各種物體的三維模型。缺點體現在過程多為數學計算、重建結果不夠精細，另外不能忽視的是，sfs法需要準確的光源引數，包括位置與方向資訊。這就導致其無法應用於諸如露天場景等具有複雜光線的情形中。
3.立體視覺法
立體視覺法（multi-view stereo，mvs)是另外一種常用的三維重建方法。主要包括直接利用測距器獲取程距資訊、通過一幅影象推測三維資訊和利用不同視點上的兩幅或多幅影象恢復三維資訊等三種方式。通過模擬人類視覺系統，基於視差原理獲取影象對應點之間的位置偏差，恢復出三維資訊。
雙目立體視覺重建，在實際應用情況優於其他基於視覺的三維重建方法，也逐漸出現在一部分商業化產品上; 不足的是運算量仍然偏大，而且在基線距離較大的情況下重建效果明顯降低 。
立體視覺法也其弊端。例如，立體視覺需要假設空間的平面是正平面，而實際情況卻與此相差甚遠。除此之外，匹配還存在歧義性：對於一幅影象上的某些特徵點，另外的影象可能存在若干個與之相似的特徵點。那麼如何選取最適配的匹配點，顯得較為棘手。雖然視差結果體現出了景物的三維位置關係，但是某些畫素點的視差與標準值仍有細微的差距。除此之外，對於如相機運動引數的確定、大型場景重建需要獲取多幀影象等問題，也極大的影響了立體視覺的深層次應用。
★主動式三維重建技術
主動式是指利用如雷射、聲波、電磁波等光源或能量源發射至目標物體，通過接收返回的光波來獲取物體的深度資訊。主動測距有莫爾條紋法、飛行時間法、結構光法和三角測距法等四種方法。
1.莫爾條紋法
莫爾條紋在生活中比較常見，如兩層薄薄的絲綢重疊在一起，即可以看到不規則的莫爾(morie)條紋；微風的吹動窗紗時，條紋亦隨之運動。莫爾條紋法起源於18世紀的法國，是一項古老又現代的測量方法。基本原理是將兩塊等間隔排列的直線簇或曲線簇圖案重疊起來，以非常小的角度進行相對運動來形成莫爾條紋。在主光柵與指示光柵的交叉重合處，因光線的透射與遮擋而產生不同的明暗帶，即莫爾條紋。莫爾條紋隨著光柵的左右平移而發生垂直位移，此時產生的條紋相位資訊體現了待測物體表面的深度資訊，再通過逆向的解調函式，實現深度資訊的恢復。這種方法具有精度高、實時性強的優點，但是其對光照較為敏感，抗干擾能力弱。
優點：精度高，對光照和雜訊不敏感。
缺點：只應用於具有規則紋理的物體。
2.飛行時間法
飛行時間法 (time of flight，tof)指的是在光速及聲速一定的前提下，通過測量發射訊號與接收訊號的飛行時間間隔來獲得距離的方法。這種訊號可以是超聲波，也可以是紅外線等。飛行時間法相較於立體視覺法而言，具有不受基線長度限制、與紋理無關、成像速度快等特點。但是其也有一定的缺點。首先，tof相機的解析度非常低。例如圖1-4所示，當今解析度最高的pmd camcube 2.0 相機，也僅為204×204畫素；其次，tof相機容易受到環境因素的影響，如混合畫素、外界光源等，導致景物深度不準確；最後，系統誤差與隨機誤差對測量結果的影響很大，需要進行後期資料處理，主要體現在場景畫素點的位置重合上。值得注意的是，tof相機的售價達到了數萬美元，受眾較窄。
3.結構光法
結構光法（structured light)通過向表面光滑無特徵的物體發射具有特徵點的光線，依據光源中的立體資訊輔助提取物體的深度資訊。具體的過程包括兩個步驟，首先利用雷射投影儀向目標物體投射可編碼的光束，生成特徵點；然後根據投射模式與投射光的幾何圖案，通過三角測量原理計算攝像機光心與特徵點之間的距離，由此便可獲取生成特徵點的深度資訊，實現模型重建。這種可編碼的光束就是結構光，包括各種特定樣式的點、線、麵等圖案。結構光法解決了物體表面平坦、紋理單
一、灰度變化緩慢等問題。因為實現簡單且精度較高，所以結構光法的應用非常廣泛，目前已有多家公司生產了以結構光技術為基礎的硬體裝置，如primesense公司的prime sensor、微軟公司的kinect和華碩公司的xtion pro live等產品[21]。圖1-5展示了利用結構光技術採集文物三維資訊的場景。
4.三角測距法
三角測距法是一種非接觸式的測距方法，以三角測量原理為基礎。紅外裝置以一定的角度向物體投射紅外線，光遇到物體後發生反射並被ccd（charge-coupled device，電荷耦合元件）影象感測器所檢測。隨著目標物體的移動，此時獲取的反射光線也會產生相應的偏移值。根據發射角度、偏移距離、中心矩值和位置關係，便能計算出發射器到物體之間的距離。三角測距法在軍工測量、地形勘探等領域中應用廣泛。
深度相機三維重建
筆者近日學習kinect開發，需要得到指定物體的三維座標，在查閱了眾多資料之後，也有了一點點自己的看法。由於kinect是一款rgb d相機，能夠很容易獲得相應的深度資訊，而至於深度資訊，推薦一篇知乎專欄 然後應該如何處理得到的深度資訊呢，筆者覺得主要有三個步驟 1.首先應該將深度相機的深度影象和色...
opencv三維重建 三維重建 SLAM相關
wayne cvpr2020 oral 立體視覺cost volume構建新方法,效能soa,視訊記憶體和執行時間大幅降低 雙目立體視差圖進行三維點雲重建 opencv3.4.1 pcl1.8 用vs opencv3.1從雙目立體視差圖中重建三維點雲 使用opencv以及pcl將2d影象轉換為3d點...
三維重建方法
三維重建技術就是要在計算機中真實地重建出該物體表面的三維虛擬模型，構建乙個物體完整的三維模型，大致可以分為三步 1.利用攝像機等影象採集裝置對物體的點雲資料從各個角度釆集，單個攝像機只能對物體的乙個角度進行拍攝，要獲得物體表面完整資訊，需要從多個角度對物體拍攝 2.將第一步獲得的各視角點雲資料變換到...