最小二乘的本質：
最小二乘：
各種解法：
使用差的平方和最小勒？用差的絕對值不行麼？
我們假設直線對於座標 xi 給出的** f(xi) 是最靠譜的**，所有縱座標偏離 f(xi) 的那些資料點都含有噪音，是噪音使得它們偏離了完美的一條直線，乙個合理的假設就是偏離路線越遠的概率越小，具體小多少，可以用乙個正態分佈曲線來模擬，這個分布曲線以直線對 xi 給出的** f(xi) 為中心，實際縱座標為 yi 的點 (xi, yi) 發生的概率就正比於 exp[-(δyi)^2]。（exp(..) 代表以常數 e 為底的多少次方）。
所以我們在前面的兩點裡提到，假設誤差的分布要為乙個正態分佈，原因就在這裡了。
另外說一點我自己的理解：從數學處理的角度來說，絕對值的數學處理過程，比平方和的處理要複雜很多。搞過機器學習的同學都知道，l1正則就是絕對值的方式，而l2正則是平方和的形式。l1能產生稀疏的特徵，這對大規模的機器學習灰常灰常重要。但是l1的求解過程，實在是太過蛋疼。所以即使l1能產生稀疏特徵，不到萬不得已，我們也還是寧可用l2正則，因為l2正則計算起來方便得多。。。
當常數項全為零時，線性方程組⑵稱為齊次線性方程組，即：
線性方程組(2)的矩陣形式為
係數構成的行列式稱為該方程組的係數行列式d，即
當其右端的常數項b1,b2,...,bn不全為零時，線性方程組⑴稱為非齊次線性方程組。
寫作：其中：
a是線性方程組的係數矩陣，
x是由未知數組成的列向量
非齊次線性方程組表示式轉為齊次：
即aβ=y
對於最小二乘來說，最終的矩陣表達形式可以表示為：
最後的最優解為：
經典的最小二乘法使用起來夠簡單粗暴，計算過程也不複雜。比梯度下降這樣的迭代法似乎方便很多。這裡聊聊最小二乘法的侷限性和適用性。
1）乙個致命的問題就是其對雜訊的容忍度很低。 對於雜訊的處理，比如有加權最小二乘等方法。
2）最小二乘法需要計算xtxxtx的逆矩陣，有可能它的逆矩陣不存在，這樣就沒有辦法直接用最小二乘法了，此時梯度下降法仍然可以使用。當然，我們可以通過對樣本資料進行整理，去掉冗餘特徵。讓xtxxtx的行列式不為0，然後繼續使用最小二乘法。
3）當樣本特徵n非常的大的時候，計算xtxxtx的逆矩陣是乙個非常耗時的工作（nxn的矩陣求逆），甚至不可行。此時以梯度下降為代表的迭代法仍然可以使用。那這個n到底多大就不適合最小二乘法呢？如果你沒有很多的分布式大資料計算資源，建議超過10000個特徵就用迭代法吧。或者通過主成分分析降低特徵的維度後再用最小二乘法。
4）如果擬合函式不是線性的，這時無法使用最小二乘法，需要通過一些技巧轉化為線性才能使用，此時梯度下降仍然可以用。
5）講一些特殊情況。當樣本量m很少，小於特徵數n的時候，這時擬合方程是欠定的，常用的優化方法都無法去擬合資料。當樣本量m等於特徵數n的時候，用方程組求解就可以了。當m大於n時，擬合方程是超定的，也就是我們常用與最小二乘法的場景了。
最小二乘 加權最小二乘 matlab實現
最小二乘 最小二乘法 又稱最小平方法 是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小 最小二乘法還可用於曲線擬合，其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。加權最小...
最小二乘擬合 6 7 最小二乘擬合問題
資料擬合問題的一般形式 任給一組離散資料 注 這裡的擬合函式不一定為多項式函式 記殘量的平方和為 求使得殘量平方和最小得一組係數就是線性最小二乘問題，為最小二乘問題得基函式，求得的擬合函式為資料的最小二乘擬合。求解 利用偏導數為零得到極值點的原理可以得到最小二乘問題滿足的方程組，求解方程組中未知係數...
說說最小二乘
最小二乘是用於根據取樣結果計算 最佳引數 的常用方法。本文簡要描述最小二乘的原理和計算方法。假設我們有乙個系統，我們知道這個系統的響應函式f是某組自變數的線性方程。不失一般性，我們以三個自變數的系統為例，對於自變數x,y,z，系統輸出f滿足f f x,y,z ax by cz d，而a,b,c,d的...