自適應濾波 最小二乘法

【讀書筆記11】

前言

西蒙.赫金的《自適應濾波器原理》第四版第八章：最小二乘法。全文主要包括：

1）矩陣方程問題描述；

2）最小二乘法；

3）最小二乘與最大似然的關係；

4）最小二乘與梯度下降的關係；

$} = }$

其中根據向量

1）超定矩陣方程；m>n，$\bf$和$\bf$均已知，其中之一或二者可能存在觀測誤差、干擾；

2）盲矩陣方程：僅向量$\bf$已知，矩陣$\bf$未知；

3）欠定稀疏矩陣方程：m每一類問題，都有對應的方法：如對於超定矩陣方程，觀測結果足夠多，方程個數大於未知數個數，對應矩陣通常列滿秩（不絕對），可以利用最小二乘得到唯一確定解；對於欠定矩陣方程，方程個數小於未知數個數，得出的解有多種可能，所以通常需要新增約束——例如稀疏性，雖然解有多種，最稀疏的可能只用一種，這要就得到了唯一確定解。給出問題與對應求解的示意圖：

多說一句，例如對於欠定係數矩陣求解，核心問題為：

這也是稀疏表示和壓縮感知的核心問題，由於不免帶有雜訊，問題通常鬆弛為：

b-最小二乘問題

最小二乘根據雜訊型別的不同，可以分為：普通最小二乘、資料最小二乘、總體最小二乘。

此時，向量$\bf$（觀測向量）帶有誤差，對應的問題是：

此時，資料矩陣$\bf$帶有誤差，對應的問題是：

此時，資料矩陣$\bf$和資料矩陣$\bf$都帶有誤差，對應的問題是：

二、普通最小二乘求解

普通最小二乘也常被簡稱為：最小二乘法，但細化問題後其實有些亂，這裡仍打算採用普通最小二乘這一說法。

問題描述：

求偏導：

這下就熟悉啦，直接走你，就得到常見的表示式：

怎麼錯了？這裡只是超定方程（m>n），並沒有說列一定滿秩，所以分兩種情況討論：

情況1：列滿秩，rank($\bf(a) $) = n

此時 $\left( }^t}}} \right)$可逆，對應的解唯一，從而有：

情況2：秩虧缺，rank($\bf(a) $) < n

這種情況下，需要借助moore-penrose進行廣義逆求解，moore-penrose求逆的方法在前文已有介紹，從而有：

秩虧缺情況下，得到的解不再是唯一的，但基於moore-penrose的解是唯一的，這就不免有乙個問題——它是增加了何種約束？這裡直接給出結論：此時的解為最小範數最小二乘解（minimum norm least squares solution），或者說此時向量對應歐式距離最短.證明可參考：張賢達《矩陣分析與應用第2版》p67.

三、普通最小二乘與最大似然

給出數學模型（以多項式擬合為例，n次擬合，共m組樣本點）：

普通最小二乘準則函式：

最大似然準則：

假設誤差均服從(0,$\delta^2$)的正態分佈，則有似然函式：

求對數之後，最大似然準則函式等價於：

二者等價。

四、最小二乘與梯度下降

上文乙個大前提就是方程可以轉化為線性變換：

$} = }$

但很多時候不能實現問題的轉化，非線性沒有閉式解，這個時候仍然可以借助梯度下降求解，梯度下降在前文有分析。梯度下降是迭代的方式去逼近最優解，雖然可能是區域性最優；而最小二乘是利用矩陣的形式直接得出結果。

參考：

最小二乘法

include stdafx.h include include const int n 2 const int m 5 int sgn double x void lss double g n 1 int xm,int xn,double x m double p,double w m lss函式...

最小二乘法

在研究兩個變數之間的關係時，可以用回歸分析的方法進行分析。當確定了描述兩個變數之間的回歸模型後，就可以使用最小二乘法估計模型中的引數，進而建立經驗方程.簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這裡的 二乘 指的是用平方來度量觀測點與估計點的遠近 在古漢語中 平方 稱為...

最小二乘法

最小二乘法 least squares analysis 是一種 數學 優化 技術，它通過 最小化 誤差 的平方和找到一組資料的最佳 函式 匹配。最小二乘法是用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。最小二乘法通常用於 曲線擬合 least squares fitting 這裡有...