2023年8月4日 16:26:40
rgb-d 影象中的rgb提供了畫素座標系下的x，y座標，而深度圖直接提供了相機座標系下的\(z\)座標，也就是相機與點的距離。
根據 rgb-d 影象的資訊和相機的內參，可以計算出任何乙個畫素點在相機座標系下的座標。
根據 rgb-d 影象的資訊和相機的內參與外參，可以計算出任何乙個畫素點在世界座標系下的座標。
相機視野範圍內，相機座標系下的障礙物點的座標，就是點雲感測器資料，也就是相機座標系下的點雲資料。點雲感測器資料可以根據 rgb-d 影象提供的座標與相機內參算出來。
所有世界座標系下的障礙物點的座標，就是點雲地圖資料，也就是世界座標系下的點雲資料。點雲地圖資料可以根據rgb-d 影象提供的座標與相機內參和外參算出來。
相機座標系下的點雲資料是根據rgb影象提供的畫素座標系下的x，y座標（即公式中的u，v）和相機內參就能求出相機座標系下的\(x\),\(y\)座標值。同時深度圖直接提供相機座標系下的\(z\)座標值。進而得到相機座標系下的座標\(p=\begin
x\\
y\\z\end\)，相機座標系下的障礙物點的座標，就是點雲感測器資料，也就是相機座標系下的點雲資料。
相機座標系\(p\)與畫素座標系\(p_\)下的點的座標的關係公式:
\[zp_=z\begin
u\\
v\\1\end=\begin
f_x&0&c_x\\
0&f_y&c_y\\
0&0&1
\end\begin
x\\
y\\z\end=kp
\]\[x=z(u-c_x)/f_x\\
y= z(v-c_y)/f_y\\
z=d\]
一般來說，公式中點在相機座標系下的\(z\)值就是相機測出的深度值\(d\)，即就是真實點到相機平面的距離。如果不是可以加倍數補償。
如果在對應點的位置再加入彩色資訊就能夠構成彩色點雲。
根據世界座標系到畫素座標系下點的坐轉換公式：
\[zp_=z\begin
u\\
v\\1\end=kp=k\begin
x\\
y\\z\end=k(r\begin
x_w\\
y_w\\
z_w\end+t)\\或者\\zp_=z\begin
u\\
v\\1\end=kp=k\begin
x\\
y\\z\end=kt\begin
x_w\\
y_w\\
z_w\\
1\end（隱含齊次座標轉非齊次座標）
\]\[k=\begin
f_x&0&c_x\\
0&f_y&c_y\\
0&0&1
\end
\]上述描述了世界座標系\(p_w\)到畫素座標系\(p_\)下的點的座標關係。因此這裡利用上式，輸入畫素座標\([u,v]\)和深度\(z\)之後，就可以求得世界座標系下點的座標\(p_w\)，所有世界座標系下的障礙物點的座標，就是點雲地圖資料。
深度圖能夠直接提供相機座標系下某個點的\(z\)座標值，作為式子中的\(z\)值。rgb圖提供了畫素座標系下點的座標\(p_=[u,v]\)。
根據內參公式就可以計算出該點在相機座標系下的三維座標\(p=[x,y,z]\)。再根據有相機的齊次變換矩陣\(t\)或者旋轉矩陣和平移向量\(r,t\)，就可以求出該點在世界座標系下的三維座標\(p_w=[x_w,y_w,z_w]\)。\(p_w=[x_w,y_w,z_w]\)就是在世界座標系下標定的點雲。也就是點雲地圖。
總結：根據rgbd圖求解點雲地圖資料，就是將畫素座標系下點的座標\(p_=[u,v]\)和相機座標系下的點的\(z\)座標值代入公式求出在世界座標系下的三維座標\(p_w=[x_w,y_w,z_w]\)，\(p_w\)就是最終要求的世界座標系的點雲。根據上式一旦確定了相機內參矩陣k和外參旋轉矩陣r和平移矩陣t，就可以根據rgbd影象完成世界座標系下的點雲生成。
如果設定世界座標系和相機座標系是重合的，即沒有旋轉和平移，這時實質就是以相機座標系建立的點雲。這時相機座標系和世界座標系的相對位姿的旋轉矩陣r就為單位矩陣，位移向量t就是零向量。
說明：
這裡提到了要根據相機的位姿將所有畫素的座標在相機座標系下轉換到世界座標系下。這個過程只有在想要建立周圍環境的點雲地圖時才是必不可少的，因為要先建立整個環境的點雲就需要點雲的座標系是靜止的。如果不使用相機位姿也可以建立以相機座標係為參考的點雲資料，但是此時的點雲資訊就只能顯示相機所視範圍內的點雲資料，所有點都是相對於相機而言的，一旦變換相機位置，將重新建立相機所視範圍內的點雲資料，因為此時點雲座標系都變了，之前的點雲資料不再有意義。如果要使用多張生成點雲那麼就要把畫素轉化到世界座標系中。
《機械人學、機器視覺與控制》
相機深度轉點雲公式原理
1 世界座標到影象的對映過程，考慮世界座標點m xw,yw,zw 對映到影象點m u,v 的過程，如下圖所示 省略推導過程，直接給最終變換公式 u,v為影象座標系下的任意座標點，u0,v0分別為影象的中心座標。xw,yw,zw表示世界座標系下的三維座標點，相機座標和世界座標下的同乙個物體具有相同的深...
深度相機 深度相機 TOF 的工作原理
作為一名機器視覺工程師，雖然不是專門研究製造深度相機的，但是了解其原理有助於更好的使用深度相機，避免一些使用方面的問題。tof time of flight 直譯為 飛行時間 其測距原理是通過給目標連續傳送光脈衝，然後用感測器接收從物體返回的光，通過探測光脈衝的飛行 往返 時間來得到目標物距離。這種...
視覺SLAM（3） RGBD相機的點雲資料生成
本節展示了如何將rgbd的深度及影象資訊轉換為點雲資料的過程，轉換的公式需要一定的相機模型的基礎知識，可以參考高翔的 視覺slam十四講 這裡以奧比的一款相機為例，理論都比較簡單，理解起來並不困難，這裡直接貼上 include include include include include incl...