最小二乘法（least squares）線性回歸：
代價函式（loss function損失函式，成本函式）：
代價函式為均方誤差，注意
優化方法（解方程的方法）一般為正規方程法，在特徵數量大的時候，正規方程計算會很緩慢，應該把優化方法替換為梯度下降。
正規方程（閉式解）：
對正規方程的理解可閱讀：
嶺回歸：
代價函式：
使用的嶺回歸閉式解：
a是單位矩陣將左上角的1換成0後的方陣。同樣可以用梯度下降優化（實際上只要能求出引數（權值）相對於方程的導數或偏導數，都可以通過梯度下降、動量優化、rmsprop、adam等優化器解出來，這種暴力求解通常很好用，因為大部分模型找不到閉式解）。
套索回歸：
類似嶺回歸，還是線性方程加正規項，代價函式：
和嶺回歸相比，使用的是
彈性網路：
嶺回歸和套索回歸的合體版，代價函式：
關於以上1、2、3、4模型做個總結，一般情況下，2、3、4優於1，一般用嶺回歸最好，但有時候你可能知道（你具備一些先驗知識）只有少數特徵起決定性作用，這種情況下建議用4，3可以忽略了。
廣義線性模型和線性回歸
首先術語廣義線性模型 glm 通常是指給定連續和 或分類 變數的連續響應變數的常規線性回歸模型。它包括多元線性回歸，以及anova和ancova 僅具有固定效果 形式為 yi n x 2 其中xi包含已知的協變數，包含要估計的係數。這些模型使用最小二乘和加權最小二乘擬合。術語廣義線性模型 glim或...
廣義線性模型之線性回歸（一）
注 本文若沒特殊宣告，所有截圖均來自cs229 machine learning lecture notes 1 監督學習中，最常見的是線性回歸和分類問題。然而，我們熟知的linear regression和logistic regression這兩個機器學習演算法其實只是乙個更廣泛的模型famil...
廣義線性模型及softmax回歸
看了 以下是廣義線性模型的內容 1 指數家族 當固定t時，這個分布屬於指數家族中的哪種分布就由a和b兩個函式決定。下面這種是伯努利分布，對應於邏輯回歸問題 注 從上面可知 下面這種是高斯分布，對應於經典線性回歸問題 2 glm 廣義線性模型 指數家族的問題可以通過廣義線性模型來解決。如何構建glm呢...