作為一名機器視覺工程師，雖然不是專門研究製造深度相機的，但是了解其原理有助於更好的使用深度相機，避免一些使用方面的問題。
tof（time of flight）直譯為「飛行時間」。其測距原理是通過給目標連續傳送光脈衝，然後用感測器接收從物體返回的光，通過探測光脈衝的飛行（往返）時間來得到目標物距離。這種技術跟3d雷射感測器原理基本類似，只不過3d雷射感測器是逐點掃瞄，而tof相機則是同時得到整幅影象的深度（距離）資訊。
tof由什麼組成？
tof相機採用主動光探測，通常包括以下幾個部分：
1、照射單元
照射單元需要對光源進行脈衝調製之後再進行發射，調製的光脈衝頻率可以高達100mhz。因此，在影象拍攝過程中，光源會開啟和關閉幾千次。各個光脈衝只有幾納秒的時長。相機的**時間引數決定了每次成像的脈衝數。
要實現精確測量，必須精確地控制光脈衝，使其具有完全相同的持續時間、上公升時間和下降時間。因為即使很小的只是一納秒的偏差即可產生高達15 c m的距離測量誤差。
如此高的調製頻率和精度只有採用精良的led或雷射二極體才能實現。
一般照射光源都是採用人眼不可見的紅外光源。
2、光學透鏡
用於匯聚反射光線，在光學感測器上成像。不過與普通光學鏡頭不同的是這裡需要加乙個帶通濾光片來保證只有與照明光源波長相同的光才能進入。這樣做的目的是抑制非相干光源減少雜訊，同時防止感光感測器因外部光線干擾而過度**。
3、成像感測器
tof的相機的核心。該感測器結構與普通影象感測器類似，但比影象感測器更複雜，它包含2個或者更多快門，用來在不同時間取樣反射光線。因此，tof晶元畫素比一般影象感測器畫素尺寸要大得多，一般100um左右。
4、控制單元
相機的電子控制單元觸發的光脈衝序列與晶元電子快門的開/閉精確同步。它對感測器電荷執行讀出和轉換，並將它們引導至分析單元和資料介面。
5、計算單元
計算單元可以記錄精確的深度圖。深度圖通常是灰度圖，其中的每個值代表光反射表面和相機之間的距離。為了得到更好的效果，通常會進行資料校準。
tof是如何測距的呢？
照射光源一般採用方波脈衝調製，這是因為它用數位電路來實現相對容易。深度相機的每個畫素都是由乙個感光單元（如光電二極體）組成，它可以將入射光轉換為電流，感光單元連線著多個高頻轉換開關（下圖的g1，g2）可以把電流匯入不同的可以儲存電荷(下圖s1，s2)的電容裡。
相機上的控制單元開啟光源然後再關閉，發出乙個光脈衝。在同一時刻，控制單元開啟和關閉晶元上的電子快門。由光脈衝以這種方式產生的電荷s0儲存在感光元件上。
然後，控制單元第二次開啟並關閉光源。這次快門開啟時間較晚，即在光源被關閉的時間點開啟。現在生成的電荷s1也被儲存在感光元件上。
因為單個光脈衝的持續時間非常短，此過程會重複幾千次，直到達到**時間。然後感光感測器中的值會被讀出，實際距離可以根據這些值來計算。
記光的速度為c，tp為光脈衝的持續時間， s0表示較早的快門收集的電荷， s1表示延遲的快門收集的電荷，那麼距離d可以由如下公式計算：
最小的可測量距離是：在較早的快門期間s0中收集了所有的電荷，而在延遲的快門期間s1沒有收集到電荷，即s1 = 0。代入公式會得出最小可測量距離d=0。
最大的可測量的距離是：在s1中收集了所有電荷，而在s0中根本沒有收集到電荷。然後，該公式得出d= 0.5 x c × tp。因此最大可測量距離是通過光脈衝寬度來確定的。例如，tp = 50 ns，代入上式，得到最大測量距離d = 7.5m。
tof會受什麼影響？
1、多重反射。
距離測量要求光只反射一次。但是鏡面或者一些角落會導致光線的多次反射，這會導致測量失真。如果多重反射使得光線完全偏轉，則沒有反射光線進入相機，從而無法正確測量反射面的距離。反之，如果其他方向的光通過鏡面反射進入晶元，則可能會發生過度**。見下圖。
2、散射光
在鏡頭內或在鏡頭後面發生多餘反射會出現散射光，如下圖所示，散射光會導致影象褪色，對比度下降等不良影響。所以要避免在相機正前方有強烈反光的物體存在。
3、環境光
前面說過，深度相機鏡頭上會有乙個帶通濾光片來保證只有與照明光源波長相同的光才能進入，這樣可以抑制非相干光源提高訊雜比。這種方式確實能夠比較有效地過濾掉人造光源，但是，我們常見的日光幾乎能夠覆蓋整個光譜範圍，這其中包括和照明光源一樣的波長，在某些情況下（如夏天的烈日）這部分光強可以達到很大，會導致感光感測器出現過度**。因此相機如果想在這種條件下正常工作，仍然需要額外的保護機制。
4、溫度
電子元件的精度受溫度的影響。所以當溫度波動時會影響電子元件的效能，從而影響到脈衝調製的精度。前面說過一納秒的脈衝偏差即可產生高達15 c m的距離測量誤差，因此相機要做好散熱，這樣才能保證測量精度。
那tof相機最後輸出的是什麼呢？
tof相機內部每個畫素經過上述過程都可以得到乙個對應的距離，所有的畫素點測量的距離就構成了一幅深度圖，如下圖所示。左邊是原圖，右邊是對應的深度圖。
可以看到深度圖其實是一張灰度圖，它是一張三維的圖：水平垂直座標對應畫素位置，該位置的灰度值對應的是該畫素距離攝像頭的距離。所以深度圖中的每個畫素可以表示空間中乙個點的三維座標，所以深度圖中的每個畫素也稱為體畫素（voxel）。
深度相機系列一 深度相機入門介紹
說明 文中所舉例的產品比較早，讀者把重點放在學習原理上就好。iphone x 前置原深感相機 點陣投影在人臉上的示意圖 其實投影的是人眼不可見的紅外光，這裡只是示意圖 iphone x的 動畫表情 功能示意圖 飛行時間是從time of flight直譯過來的，簡稱tof。其測距原理是通過連續發射經...
深度相機與普通相機的區別
深度相機介紹 隨著機器視覺，自動駕駛等顛覆性的技術逐步發展，採用 3d 相機進行物體識別，行為識別，場景 建模的相關應用越來越多，可以說深度相機就是終端和機械人的眼睛，那麼什麼是深度相機呢，跟之前的普通相機 2d 想比較，又有哪些差別？深度相機又稱之為3d相機，顧名思義，就是通過該相機能檢測出拍攝空...
深度學習 相機標定 相機標定
術語 內參矩陣 intrinsic matrix 焦距 focal length 主點 principal point 徑向畸變 radial distortion 切向畸變 tangential distortion 旋轉矩陣 rotation matrices 平移向量 translation ...