概念
最小二乘法是一種優化技術，它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便的求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。
最小二乘法的原則是殘差和最小。
過程（一元）
樣本回歸模型，ei為誤差：
平方損失函式：
這就是最小二乘法的解法，就是求得平方損失函式的極值點。
最小二乘法與梯度下降法
本質相同
但是實現方法不同：最小二乘法是直接求導找出全域性最小，而非迭代法。
而梯度下降是一種迭代法，先給定乙個引數，然後朝誤差函式下降最快的方向調整引數，在若干次迭代之後找到區域性最小。
梯度下降的缺點是到最小點的時候收斂速度變慢，並且對初始點的選擇極為敏感，其改進大多是在這兩方面下功夫。
機器學習（八）最小二乘法
文章將從線性代數和概率論統計兩個角度去分析和解釋最小二乘法 在定義了內積的n維向量空間rn 成為歐式空間或內積空間 中，定義兩個向量 和 的距離等於 的長度，記為d 而且這樣的距離滿足三條基本性質 d d d 0,當且僅當 時等號成立 d d d 設w是rn的乙個子空間，它是由 1,2,s生成的，設...
機器學習經典演算法之 最小二乘法
一.背景 通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二...
機器學習經典演算法之 最小二乘法
一.背景 通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二...