我們先從最基本但很典型的線性回歸演算法之最小二乘法說起吧，它背後的假設和原理您了解嗎？本系列帶來細細體會ols這個演算法涉及的相關理論和演算法。
最小二乘法：背後的假設和原理（前篇）
似然函式的確是求解類似問題的常用解決方法，包括以後的解決其他模型的引數，也有可能用到似然函式。
如果對似然函式無感覺，那麼也請看一下下面的訊息推送：
最小二乘法原理（中）：似然函式求權重引數
在以上求解過程中做了乙個 xt * x不能為奇異矩陣的假定，再加上之前的誤差分布必須滿足某種分布這個假定，所以最小二乘法直接求解得滿足兩個假定。
以上我們通過數學的方法，借助似然函式，然後求似然函式對數的極大似然估計，直接把引數求出來了，這是必然？還是巧合？
機器學習的引數一般是不能通過直接求解得出的，所以很明顯是個巧合啊！
那麼如果不想用這種巧合的方法去求解，有沒有更加通用的方法，來求解最小二乘項的極小值呢？
《演算法channel>
機器學習系列之最小二乘法
最小二乘法，又稱最小平方法，是機器學習中基礎的演算法之一，它是一種優化演算法，通過最小化誤差的平方來尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。在機器學習中，還可以使用最小二乘法來進行曲線擬合。上圖介紹的上海市長寧區部分房價的...
機器學習經典演算法之 最小二乘法
一.背景 通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二...
機器學習經典演算法之 最小二乘法
一.背景 通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二...