克拉美羅下界 cramer-rao lower bound (crlb)可以用於計算無偏估計中能夠獲得的最佳估計精度,因此經常用於計算理論能達到的最佳估計精度,和評估引數估計方法的效能(是否接近crlb下界)。這裡選擇上傳了幾個講解非常清楚的ppt:
總的來說,crlb的計算為以下幾個步驟:
1,構建n的觀測量x[n]與估計引數θ的聯合概率密度函式 p(x ; θ)=π p(x[n] ; θ),然後求對數,得到對數似然函式
2,用對數似然函式對引數θ求二階導數
3,如果結果依賴於x[n],則求期望,否則跳過。這個期望就是費雪資訊。
連續函式則為
注意這裡的期望是僅僅是對每個x[n]求取的,同時該期望不是求這n個觀測量的平均,而是理論期望。例如,如果x[n]為依賴於n的正太分布n(kn , σ2),那麼x[n]的期望就是kn。如果不知道期望,應該也可以就用x[n]近似,因為其期望也是其若干取樣的平均。
4,求費雪資訊的倒數即可得到crlb下界
實際的crlb可能跟引數θ本身有關,那麼則需要先知道(預估)θ(**的時候一般知道實際引數值,實際實驗應該只能先估計θ),再計算其預估精度crlb。
另外,有的函式導數比較複雜,很難求導,這樣可以用數值方法求取一階二階導數:
舉個例子(自創)
求定位成像引數估計得最佳精度
該圖案為相機拍攝到的單分子成像圖案,可以用乙個高斯函式近似其強度分布(點擴散函式psf)。只考慮泊松分布的散粒雜訊(shot noise)。
總共有5個引數:a(峰值強度),x0, y0 (高斯函式橫向和縱向的位置),σ(psf寬度),b(背景強度)。
推導過程如下(字寫得太醜,請見諒):
這裡二階導基本上只能用數值微分來求解。
後續的優化是用精確的psf,而不是高斯的psf,後續則完全一樣。當然還
可以考慮讀出雜訊。