內容源自＜視覺slam十四講＞
狀態估計轉換為ｐ(x|z)公式，然後根據貝葉斯法則，刪去無關的，再把ｐ(x)乾脆也省略了，最後相當於求解arg max p(z|x)，也就是最大似然．整個過程把求解最大後驗概率轉化為最大似然了．
回顧一下經典 slam 模型。它由乙個運動方程和乙個觀測方程構成,如下所示:
xk乃是相機的位姿。我們可以使用變換矩陣或李代數表示它。至於觀測方程即針孔相機模型。（對於視覺slam）
在雜訊的影響下,我們希望通過帶雜訊的資料 z 和 u,推斷位姿 x 和地圖 y(以及它們的概率分布),這構成了乙個狀態估計問題。由於在 slam 過程中,這些資料是隨著時間逐漸到來的,所以在歷史上很長一段時間內,研究者們使用濾波器,尤其是擴充套件卡爾曼濾波器(ekf)求解它。卡爾曼濾波器關心當前時刻的狀態估計 x k ,而對之前的狀態則不多考慮;相對的,近年來普遍使用的非線性優化方法,使用所有時刻採集到的資料進行狀態估計,並被認為優於傳統的濾波器,成為當前視覺 slam 的主流方法。
在非線性優化中,我們把所有待估計的變數放在乙個「狀態變數」中:
對機械人狀態的估計,就是求已知輸入資料 u 和觀測資料 z 的條件下,計算狀態 x 的條件概率分布:
類似於 x,這裡 u 和 z 也是對所有資料的統稱。特別地,當我們沒有測量運動的感測器,只有一張張的影象時,即只考慮觀測方程帶來的資料時,相當於估計 p (x|z) 的條件概率分布。
為了估計狀態變數的條件分布,利用
貝葉斯法則
,有:
貝葉斯法則左側p(x|z)通常稱為後驗概率。它右側的p (z|x) 稱為似然,另一部分 p (x) 稱為先驗。直接求後驗分布是困難的,但是求乙個狀態最優估計,使得在該狀態下,後驗概率最大化(maximize a posterior,map),則是可行的:
貝葉斯法則的分母部分與待估計的狀態 x 無關,因而可以忽略。
貝葉斯法則告訴我們,求解最大後驗概率,相當於最大化似然和先驗的乘積。進一步,我們當然也可以說,對不起,我不知道機械人位姿大概在什麼地方,此時就沒有了先驗。那麼,可以求解x 的最大似然估計(maximize likelihood estimation, mle):
直觀地說,似然是指「在現在的位姿下,可能產生怎樣的觀測資料」。由於我們知道觀測資料,所以最大似然估計,可以理解成:「在什麼樣的狀態下,最可能產生現在觀測到的資料」。這就是最大似然估計的直觀意義。
如何求解最大似然概率ｐ(z|x)呢？
在高斯分布的假設下,最大似然能夠有較簡單的形式。回顧觀測模型,對於某一次觀測:
由於我們假設了雜訊項 v k ∼ n (0, q k,j ),所以觀測資料的條件概率為:
它依然是乙個高斯分布。為了計算使它最大化的 x k , y j ,我們往往使用最小化負對數的方式,來求乙個高斯分布的最大似然。
對原分布求最大化相當於對負對數求最小化。
（將無關的項省略）
該式等價於最小化雜訊項(即誤差)的平方(σ 範數意義下)。因此,對於所有的運動和任意的觀測,我們定義資料與估計值之間的誤差:
算出誤差的平方和：（並不是雅克比矩陣，不要弄錯了）
這就得到了乙個總體意義下的最小二乘問題(least square problem)。我們明白它的最優解等價於狀態的最大似然估計。
也就是說最大似然估計又被轉換成了雜訊項(即誤差)的平方的最小化.
icp 和pnp會提供非線性優化演算法的初值.
最小二乘估計與最大似然估計
看似最小二乘估計與最大似然估計在推導得到的結果很相似，但是其前提條件必須引起大家的注意！對於最小二乘估計，最合理的引數估計量應該使得模型能最好地擬合樣本資料，也就是估計值和觀測值之差的平方和最小，其推導過程如下所示。其中q表示誤差，yi表示估計值，yi 表示觀測值。對於最大似然法，最合理的引數估計量...
利用python手動寫最小二乘估計
今天朋友請我吃完晚飯回來，剛剛乙個python群問起最小二乘回歸估計的問題，他不知道在python裡面怎麼實現，我告訴他有很多方法去實現，比如說sklean庫裡面有關於最小二乘估計現成模組，利用pyper呼叫r軟體裡面lm，再或者利用sas裡面的proc reg過程，最後還是不知道怎麼弄，不得不說從...
最大似然估計與最小二乘的理解
最大似然估計，就是利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值。例如 乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法 我假設我抽到黑球的概率為p,那得出8次...