Pixy原理及Opencv實現

pixy的基本思想其實是簡單的：利用顏色空間來除去所有使用者不感興趣的背景，提取出前景。但是在實際的環境下卻並不好做，特別是攝像頭看到的顏色會受到光線的影響，導致顏色的變化（對於這一點，筆者覺得確實是沒有辦法的，比如紅色在黑暗的條件下確實看起來是紅色，那麼依靠任何顏色空間看到的其實都是黑色，無法區別），因此，對於pixy這樣神奇的產品來講，他的識別也需要顏色盡量鮮豔，飽和度盡量好的物體，對於背景來講，也盡量是光線較好、不突變的環境。否則pixy是「學習」不來的。

1、對畫素點的處理

pixy接收到攝像頭的資訊格式應該是yuv格式的，在原始碼的colorlut.cpp的nexthelper函式中,pixy做了兩件事：1、將yuv轉為rgb的；2、處理該畫素值得到u和v的值，這裡的u和v並不是yuv中的uv通道，而是經過了處理，具體處理的**如下：其中cl_lut_entry_scale變數為15

if (uv)
u = ((r-g1)<
c = r+g2+b;
if (c
v = ((b-g2)<
uv->m_u = u;
uv->m_v = v;
}

這樣做的好處是在u和v的值中，加入亮度的影響，這樣得到的u和v值就考慮到了光線亮度對於物體顏色的影響。

2、對感興趣域的比較統計對於得到的u和v，pixy將其作為「學習」的依據，即下面的學習演算法均是依靠此處的u和v來進行的，在colorlut.cpp的calcratios函式中，pixy對於得到的u和v值進行了如下處理：其中sig是個結構體，其中的元素代表該感興趣前景的u和v的上下閾值

while(ip->next(&uv))
// calc ratios
ratios[0] = (float)counts[0]/n;
ratios[1] = (float)counts[1]/n;
ratios[2] = (float)counts[2]/n;
ratios[3] = (float)counts[3]/n;
// calc mean (because it's cheap to do it here)
sig->m_umean = (sig->m_umin + sig->m_umax)/2;
sig->m_vmean = (sig->m_vmin + sig->m_vmax)/2;

在上段**中，pixy對使用者給出區域的畫素點與上下閾值進行比較統計，得到的統計值決定了「學習」的方向。

3、根據統計進行「學習」由上部分得到的ratios陣列表徵了使用者給定區域的畫素在該閾值左右的分布，假定給定乙個該分布情況的界限，則閾值就可以根據當前分布與給定分布之間的大小進行自動調整（pixy預設的界限是80%，即該閾值可以提取出影象區域80%的畫素值）：以u值為例，當影象在該閾值作用下，大於u閾值最小值的畫素點有90%，則說明u閾值的最小值過小，此時應該向下調整，使該閾值增大，反之則反之。具體的**見下：其中m_ratio為0.8

for (scale=1
<<30, sig->m_umin=sig->m_umax=sig->m_vmin=sig->m_vmax=0; scale!=0; scale>>=1)

根據上述**可以看到，pixy在學習的過程中對一幅影象（使用者感興趣）學習了30次，最終根據反饋得到了較好的閾值。

其實知道了原理之後，想用opencv對一幅影象進行處理並得到較好的閾值是比較容易的，筆者也對該演算法進行了嘗（chao）試（xi），但是效果十分不好，1、不能進行較好的前景提取；2、處理速度十分慢。對於以上兩個問題，個人認為還是對於yuv的格式沒有把握好，導致中間運算出現問題（悼念三分鐘嘗試失敗）。

最後上兩個圖，是該演算法的實際效果

Pixy原理及Opencv實現

Sobel運算元原理及OpenCv實現

霍夫變換原理及OpenCV實現

k means演算法及opencv實現

Pixy原理及Opencv實現

Sobel運算元原理及OpenCv實現

霍夫變換原理及OpenCV實現

k means演算法及opencv實現

相關推薦