最小二乘法（又稱最小平方法）是一種數學優化技術
它通過最小化誤差的平方和尋找資料的最佳函式匹配
利用最小二乘法可以簡便地求得未知的資料
並使得這些求得的資料與實際資料之間誤差的平方和為最小
最小二乘法還可用於曲線擬合
其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達
這裡舉個簡單的例子吧
假如去食堂打包，不同的菜**不一樣：
那麼打包5個菜需要多少塊
一般應該會想到用線性方程組來解決這個問題：
假定 x 是菜式的數量，y是付款金額，β1和β2為未知的係數
把上面的一組資料代入，得到以下四個方程：
但這樣的β1和β2是不存在的
形象地說，它們不在一條直線上
可是現實中，就希望能找到一條直線
雖然不能滿足所有條件，但能近似地表示這個趨勢
或者說，能大概猜測出打包5個菜的**
其實最小二乘法也是這樣，要盡全力讓這條直線最接近這些點
那麼問題來了，怎麼去做乙個標準，即怎麼去定義這個最接近呢？
直覺告訴我們，這條直線在所有資料點中間穿過，讓這些點到這條直線的誤差之和越小越好
這裡用方差來算更客觀，即把每個點到直線的誤差平方累加：
如果上面的四個方程都能滿足，那麼s的值顯然為0
但如果做不到，就讓應該這個s越小越好
這裡有乙個概念，就是求偏導數，需要了解一下
比如導數就是求變化率
而偏導數則是當變數超過乙個的時候，對其中乙個變數求變化率
要讓s取得最小值（或最大值），那麼s對於β1和β2分別求偏導結果為0
用乙個直觀的圖來表示：
這條曲線，前半部分是呈下降的趨勢，也就是變化率（導數）為負的
後半部分呈上公升的趨勢，也就是變化率（導數）為正
那麼分界點的導數為0，也就是取得最小值的地方
這是乙個變數的情況，對於多個變數的情況，要讓s取得最小值
那就是對β1和β2分別求導，值為0：
兩個變數，剛好有兩個方程式，得出：
即：這個函式也就是需要的直線
雖然不能把那些點串起來，但它能最大程度上接近這些點
也就是說5個菜的時候，大概為 3 + 4.6 x 5 = 26 塊
這是對最優問題的情況，類似神經網路也很多採用這種方式
雖然這種方法有侷限性但還是很常見的
謝謝！
線性最小二乘法
example f x 12 ax b 22 f x frac parallel ax b parallel 2 2 f x 2 1 a x b 22 最小化下式時x的值。首先計算 xf x at a x b ata x at b big down xf x a t ax b a tax a tb ...
線性回歸，最小二乘法
回歸的定義 對於乙個點集，使用乙個函式去擬合該點集，使點集與擬合函式間的誤差最小，如果這個函式曲線是一條直線，則是線性回歸，如果曲線是二次曲線，則是二次回歸。廣義線性回歸 廣義線性模型是線性模型的擴充套件，其特點是不強行改變資料的自然度量，資料可以具有非線性和非恆定方差結構 59 主要是通過聯結函式...
線性最小二乘法推導
最小二乘法在中學時講過。有一些散點有線性的趨勢，用乙個一次函式去擬合，使得差距最小化。對於 x i 採用上述函式計算出的結果記為 hat 即 hat w 1 x i w 0 定義差距為 sum m y i hat 2 現需要最小化這個差距。顯然，上式為關於 w 0 和 w 1 的函式 損失函式 為了...