我們的目標是盡可能的逼近真實訊號，通過處理採集來的被雜訊汙染的訊號。主要分為兩步：
1. 使用乙個多項式模型用於模擬真實訊號。可用如下公式來描述模型： an
xn+a
n−1x
n−1+
...+
a1x1
+a0x
0 2. 根據最小二乘法的準則，估計模型中的引數
假設有一組測量資料描述乙個固定值，如何通過最小二乘法獲得該固定值的最優估計。從多項式模型而言，即根據現實情況確定的模型是a0
x0= a0
，需要根據最小二乘法估計引數a0
的值。
假設有n
個測量資料x∗
k，假設最優估計為a0
，則 r=
∑k=1
n(a0
−x∗k
)2r為估計值與測量值差值平方的求和，如果使
r 取到最小值，則認為估計值a0
為最優估計。當
r 的一階導數等於零，二階導數大於零時
r取到最小值。 r=
∑k=1
n(a0
−x∗k
)2=(
a0−x
∗1)2
+(a0
−x∗2
)2+.
..+(
a0−x
∗n)2
對r 求一階導： ∂r
∂a0=
0=2(
a0−x
∗1)+
2(a0
−x∗2
)+..
.+2(
a0−x
∗n)令
r 的一階導數為零，則 a0
=∑nk
=1x∗
kn求二階導： ∂2
r∂a0
2=2+
2+..
.+2=
2n 當
n 取正時，
r的二階導總為正數。此時，
r 取到最小值。
上述例子告訴我們對固定值做最小二乘法的最優估計是將測試值取平均。一階濾波器主要用於解決的問題是尋找一條直線最好的匹配測量資料。同上，此問題的模型是x̂
=a1x
1+a0
x0，需要根據最小二乘法來估計a1
與a0 的值。 x̂
=a0+
a1t=
a0+a
1(k−
1)ts
r=∑k=1n
(x̂ k
−x∗k
)2=∑
k=1n
(a0+
a1(k
−1)t
s−x∗
k)2
∂r∂a
0=0=
2(a0
−x∗1
)+..
.+2(
a0+a
1(n−
1)ts
−x∗n
) ∂r
∂a1=
0=2(
a0+a
1ts−
x∗2)
ts+.
..+2
(n−1
)ts(
a0+a
1(n−
1)ts
−x∗n
) 已知對上述式子求二階導，均大於零，可認為當
r 的一階導取零時，
r取到最小值。 na
0+a1
∑k=1
n(k−
1)ts
=∑k=
1nx∗
k a0
∑k=1
n(k−
1)ts
+a1∑
k=1n
[(k−
1)ts
]2=∑
k=1n
(k−1
)tsx
∗k上述兩個方程求解兩個未知數，可以計算出結果a0
與a1 。
更高階的濾波器可以通過相似的方法求解引數。k(
k−1)
tsx∗
k 10
1.22
10.232
2.94
32.1
以圖的方式展現出來：
最小二乘法結合多項式模型得到的引數估計：
order
equations
zerotha0
=∑nk
=1y∗
knfirst[a
0a1]
=⎡⎣⎢
⎢⎢⎢⎢
n∑k=
1nxk
∑k=1
nxk∑
k=1n
xk2⎤
⎦⎥⎥⎥
⎥⎥−1
⎡⎣⎢⎢
⎢⎢⎢∑
k=1n
y∗k∑
k=1n
xky∗
k⎤⎦⎥
⎥⎥⎥⎥
second⎡⎣
⎢⎢a0
a1a2
⎤⎦⎥⎥
=⎡⎣⎢
⎢⎢⎢⎢
⎢⎢⎢n
∑k=1
nxk∑
k=1n
x2k∑
k=1n
xk∑k
=1nx
2k∑k
=1nx
3k∑k
=1nx
k2∑k
=1nx
3k∑k
=1nx
4k⎤⎦
⎥⎥⎥⎥
⎥⎥⎥⎥
−1⎡⎣
⎢⎢⎢⎢
⎢⎢⎢⎢
∑k=1
ny∗k
∑k=1
nxky
∗k∑k
=1nx
2ky∗
k⎤⎦⎥
⎥⎥⎥⎥
⎥⎥⎥
third⎡⎣
⎢⎢⎢⎢
a0a1
a2a3
⎤⎦⎥⎥
⎥⎥=⎡
⎣⎢⎢⎢
⎢⎢⎢⎢
⎢⎢⎢⎢
⎢n∑k
=1nx
k∑k=
1nx2
k∑k=
1nx3
k∑k=
1nxk
∑k=1
nx2k
∑k=1
nx3k
∑k=1
nx4k
∑k=1
nxk2
∑k=1
nx3k
∑k=1
nx4k
∑k=1
nx5k
∑k=1
nxk3
∑k=1
nx4k
∑k=1
nx5k
∑k=1
nx6k
⎤⎦⎥⎥
⎥⎥⎥⎥
⎥⎥⎥⎥
⎥⎥−1
⎡⎣⎢⎢
⎢⎢⎢⎢
⎢⎢⎢⎢
⎢⎢∑k
=1ny
∗k∑k
=1nx
ky∗k
∑k=1
nx2k
y∗k∑
k=1n
x3ky
∗k⎤⎦
⎥⎥⎥⎥
⎥⎥⎥⎥
⎥⎥⎥⎥
對於上述資料使用不同階數的多項式模型對其進行建模，結果如下：
當多項式的階數逐漸增加，
r 將減少並趨向於零。但是如果本身測量的值被雜訊汙染，則當
r值減少並不一定是向真實值靠近，有可能出現更加原理真實值得情況。
卡爾曼濾波器學習筆記（一）
最近在學習probablistic robotics這本書，獲益良多。以前學了概率論和隨機過程之後一直覺得這些是虛的，不知道在工程上怎麼用，而這本書恰恰就是講如何把這些概率理論和方差估計應用到工程上去，更確切的說，應用到機械人上去。要應用kalman filter,首先要有三個前提假設 kalman...
自適應濾波 最小二乘法
讀書筆記11 前言 西蒙.赫金的 自適應濾波器原理 第四版第八章 最小二乘法。全文主要包括 1 矩陣方程問題描述 2 最小二乘法 3 最小二乘與最大似然的關係 4 最小二乘與梯度下降的關係 一 矩陣方程問題描述a 基本問題描述許多問題都可以建模成矩陣方程 其中根據向量 1 超定矩陣方程 m n，bf...
最小二乘法 一
最小二乘法 又稱 最小平方法 是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。為了更好的理解這...