運動一致性判斷

2022-09-08 05:33:11 字數 3753 閱讀 4957

直至以來,slam的研究共朝著三個方向努力:精度、速度、魯棒性。尤以魯棒性居多。通常動態場景中,根據imu測量值與視覺測量值分別進行計算得到的結果會有所不同。因此需要進行一致性的檢測,以得到真值。本文將主要講運動一致性檢測。

基於聚類將分割之後獲得的區域需要判斷其運動一致性以分離動態物體和靜態背景。

下面介紹各個**中的判斷方法

該**將rgb與深度圖結合後進行k均值聚類以實現分割

過程:進行k-means聚類

計算每乙個簇的殘差

根據計算出的殘差建立非引數統計模型

聚類的好處有兩點:

能夠將非剛體場景表示基於聚類的剛體場景

可有效增強密集運動的分割效果,從而支援場景流估計和避障。

若對齊,則基於靜態背景的聚類將會有乙個很小的殘差。

光照強度殘差:

$$r^p_i(\xi)= i_k(w(x^p_,\xi^k_))-i_(x^p_)

$$影象扭曲,warp函式:

$$w(x^p_,\xi^k_)=\pi(t^k_\pi^(x^p_,z_(x^p_)))

$$第i個聚類的殘差計算方法如下所示:

$$\delta^=\cfrac\alpha_ir^p_i+r^p_z/\hat z_i}

$$其中,$s_i$是第i類的畫素大小。$o_i$是第i類遮擋的區域大小。

$\hat z_i$是第i類的平均深度,$\alpha_i$是平衡深度和廣度的權重。

$$r_z^p(\chi)=z_k(w(x^p_,\chi^k_))-|t^k_|_z

$$非引數統計模型

該模型的用途是為了你和實際實驗殘差的直方圖,為每個聚類提供權重以估計相機運動

靜態背景部分的運動始終與相機運動具有雙重關係。因此,靜態簇的殘差通常會很小或接近零,因為它們會完美對齊,而這些動態簇的殘差通常是較大的值,由於動態物件的獨立運動,它們的值會很明顯的偏移於零。

對於不同的場景,殘差分布並不總是相同的。應該探索聚類殘差的分布特徵。圖2是高動態場景的統計殘差直方圖標例。

在概率論和統計學中,t-分布(t-distribution)用於根據小樣本來估計呈正態分佈且方差未知的總體的均值。

受[14,23]的啟發,基於t分布的非引數統計模型構造如下:

$$w_i = \cfrac

$$$$

\delta = 1.4826 median

$$其中,$v_0$是t分布的自由度,決定了分布曲線的陡峭程度。

實驗中,$v_0$被設定為10,$\mu$是樣本均值,設為0;

$\delta$是樣本方差,即基於中位數絕對偏差的非引數統計。

由於統計模型的概率表示簇的運動可能性,因此它可以指導場景運動分割,並為每個聚類提供權重以估計自我運動。

聚類標籤根據如下給出:

$$\beta_i=\left

1,&\delta』_i\leq1/(\min(10,\max(3.\alpha_bv_c\delta)))

\0,&\delta』_i\geq1/(\min(10,\max(3,\alpha_bv_c\delta)))

\end

\right.

$$bi表示第i個簇的聚類標籤。1表示該類屬於靜態背景。

0表示該類屬於動態部分。$\alpha_b$是乙個用來調節獨立變數和殘差的維度協方差,計算方法為:

$$\alpha_b=10^3\times\min(10^3,10^)

$$$n_d$是標記為移動部分的聚類數。

聚類權重參考聚類的殘差來給出,如下所示:

$$w_i^p=\left{}

w_i, &meadian(\delta』_i)>0.02\or n_d>5\

1-\delta』_i,&others

\end

\right.

$$其中,$w_i$是第i類的權重。median($\delta』_i$)是聚類殘差的中位數。

最後將運動標記和權重模型新增到稠密視覺里程計的能量優化函式中。優化函式是根據kerl的工作[9]基於深度和強度構建的,具有很高的穩定性,而jaimez的工作[15]的方法表明優化過程可以在cauchy m估計器中獲得良好的結果。自運動通過以下等式估算:

$$\chi = \arg \min_\beta_i[f(w^p_i)r^p_z(\chi)+f(\alpha_i)w^p_ir^p_i(\chi)]

$$$$

f(r)=\cfrac\log(1+(\cfrac)^2)

$$此外,基於能量函式的視覺里程計方法只有在運動較小時才能收斂到真實值,而較大的運動通常會將收斂收斂到區域性最小值。因此,我們使用金字塔模型來解決此優化問題,以獲得更準確的自我運動估計。

判斷路標點間一致性的策略:

基於imu判斷的運動對每乙個特徵點計算重投影殘差

$$\delta_=\sum_(z_ij-h(\hat x^i_j,l_j))

$$計算當前幀中特徵點的殘差不一致點的個數,如果不一致點的個數超過了一定比例,則判斷發生了運動衝突。

$$mr:=\cfrac

$$另一方面,分別根據基於imu和視覺的運動計算重投影誤差,再計算二者的分歧度,再根據分歧度計算當前幀是否發生了衝突。

$$\delta_=||||_

$$基於dnn訓練乙個概率圖,提取出概率圖(mask)

然後基於該概率圖分別計算主要運動和次要運動。

首先利用cnn提取出影象中潛在的動態區域

運動檢測方法

​ 本文採用基於光學流的方法來檢查潛在動態區域和背景區域的一致性。光學流演算法[30]在該領域已被廣泛研究,該演算法在運動檢測中表現出色。該演算法的總體思想是在兩個影象的時空一致性假設下,從兩個連續的影象中確定點的對應關係。提出了兩種針對光流問題的解決方法,分別稱為稀疏法和稠密法。稠密解決方案逐畫素計算影象中的光學流值。但稀疏解決方案僅在這些興趣點上計算流量向量。可以通過以下公式獲得乙個畫素的光學流值:

$$\tau(\chi,u)=\sum_[i_(x_i)-i_l(x_i+u(x_i))]^2

$$​ 對於每乙個2d再集合$s\subset r^2$的點$x_i$,$i_(x_i)$是第l-1幀的$x_i$的雄塑強度。$i_l(x_i+u(x_i))$表示相應的第l幀中的光照強度。

$u(x_i)$是第l-1和第l幀的相應點的變化,該項根據區域性視窗中基於重心$x_i$的變化而來,是使函式達到最小的變數。

為了減少上面所說的損失函式,$x_i$點的光流向量$(\frac,\frac)$。$\frac$是其沿x軸的時間隨時間變化的導數,$\frac$是其沿y軸方向變化的倒數。沿y軸的時間。利用廣泛使用的lucas-kanade光流法用於跟蹤潛在動態物件內部和外部的稀疏點。

對於光學流向量$p =(u,v)$,其方向$\phi$和大小$ρ$表示如下:

$$\phi=\left{}

atan2(\frac)180/\pi,&if~atan2(\frac)>0\

(360+atan2(\frac))180/\pi,&otherwise

\end

\right.

$$$$

\rho = \sqrt2

$$然後,類似於[15],將為潛在的動態區域和背景區域構建標準化的直方圖,其中每個單元格的範圍將由如下所示的公式確定:

$$2\pi\frac

$$其中,$\r$是bins的數目,r是從左到右的系列字母。所有的流向量將根據它們與水平軸的夾角劃分為每個容器。此外,所有流向量將分配給不同的簇。每個bin的高度將如下計算:

$$h=\frac\rho_\xi}\rho_\mu}

$$其中$ρ_ξ$表示乙個箱中流量向量的大小,而$ρ_\mu$是勢能動態區域或背景區域中流量向量的大小。

強一致性 弱一致性 最終一致性

這種方式在es等分布式系統中也有體現,可以設定主shard提交即返回成功,或者需要replica shard提交成功再返回。提到分布式架構就一定繞不開 一致性 問題,而 一致性 其實又包含了資料一致性和事務一致性兩種情況,本文主要討論資料一致性 事務一致性指acid 複製是導致出現資料一致性問題的唯...

一致性雜湊

直接貼出一篇介紹的很清楚的博文。關鍵字一致性雜湊 平衡性,單調性,分散性,負載 其實說白了,就是解決把請求分散到不同的機器上運算,怎麼做分散的平均,機器少一台多一台,或者壞掉一台,成很好的自適應和拓展。最簡單的實現分布式演算法,取模嘛,但是它就上述的一些問題,所以不算好的雜湊函式。一致性雜湊演算法,...

一致性雜湊

from 學習分布式,一致性雜湊是最最基礎的知識,所以要理解好.那什麼是一致性雜湊呢?what 1.平衡性是指 hash的結果應該平均分配到各個節點,這樣從演算法上就解決了負載均衡問題.2.單調性是指 在新增或者刪減節點時,同乙個key訪問到的值總是一樣的.3.分散性是指 資料應該分散的存放在 分布...