今天我們來看乙個最常見的機器學習模型——線性回歸（linear regression）模型。先舉個例子讓你明白什麼是線性回歸。
現在我們有房屋面積和**的一些資料，如下圖：
現在我們想知道的是，如果給乙個新的房屋面積130m²，能否根據已知的資料來**新的面積對應的**是多少呢？這時，線性回歸模型就派上用場了。
我們先畫出已知資料的散點圖：
那線性回歸要做什麼呢？它是模擬出一條直線，讓已知的資料點盡量落在直線上或直線周圍。效果如下圖紅線所示：
用公式表示的話，這個線性模型就是一條直線：
f(x) = wx + b （1）
其中，w為係數，b為截距。
當我們的模型確定後，如果給定乙個新資料x『，只需把x『帶入（1）式，求得的y就是**的**了。
在談如何確定w和b之前，我們先來思考乙個問題：假如房屋**不僅僅受面積因素影響呢？比如還有廁所數量、房屋高度、房屋樓層數等等因素，這時我們又該如何構建我們的線性模型呢？
其實跟（1）式一樣，我們新增係數和輸入即可：
假設我們有n個影響房屋**的因素，對應的就是n個係數w。（2）式就是我們新的線性模型。那模型既然出來了，該怎麼求w和b呢？在求解之前，我們應該了解到，模型**的結果f(x)是和實際的結果y有一定出入的。也就是說，模型在對原始資料進行訓練時，資料點並不一定都落在該模型上。這樣就會產生誤差，不同的w和b對應不同的線性模型，我們要找的就是誤差最小的那個模型所對應的w、b的值。
首先第一步，我們要找乙個代價函式（cost function），用它來衡量我們**的誤差，一般用平方和函式來表示：
其中，j就是我們的代價函式，f(x)是我們的**值，y是訓練集資料的實際值，m代表資料的個數。代價函式描述的其實是**值和實際值差的平方和的均值，那我們在前面為什麼要加個1/2呢？這純粹是為了以後求導方便，而且並不影響我們對代價函式的優化。
然後，我們將**函式f(x)做乙個變形，寫成向量乘積的形式。
則（2）式可改寫為：
不難看出，f(x)可以寫作w和x兩個向量的乘積：
進一步縮寫為：
其中，w和x均為n+1維列向量。再將（4）式代入（3）式，可得：
由f(x)可知，乘積項的求和可以寫為兩個向量乘積的形式。要想寫成向量形式，我們需要將j(w)做乙個變形：
展開，得到：
其中，x 為m*(n+1)維矩陣，m是資料的樣本個數，n是每乙個資料的特徵。w為引數向量，y為實際值向量。
ok，現在我們已經把代價函式化簡完成了，但別忘了我們的目標是求當j(w)取最小值時，所對應w的值。可以證明j(w)為凸函式（證明過程暫略），所以當我們對j(w)求導時，令導數為0，j(w)即可取最小值，相應可求得w。（注意w為向量）
在求導之前，我們先記住幾個結論，一會就直接用了：
隨後，我們令k=xw-y，則j(w)可寫為
對其求導，應用結論1，得
我們先求k'，運用結論3，可得
運用結論5，將其改寫為
運用結論2，繼續求導可得
運用結論4、5，並化簡
將k=xw-y代入並展開，可得
到此為止，我們的求導過程就完成了。接下來，令導數為0，求得w的值即可。令j'(w)=0，可得
一般情況下，矩陣
為可逆矩陣（不可逆的情況我們以後會討論），即可求得w的解為
bingo！（5）式就是我們在代價函式取最小值時，求得的引數向量w。在實際應用中，計算機會幫我們對（5）式求解，得到w的值。但當我們的資料量非常大時，可能會拖慢執行速度。這時，另一種對j(w)優化的演算法——「梯度下降法」就該上場了，我們下篇再對它進行介紹。
線性回歸模型 線性回歸模型
回歸的思想和分類有所不一樣，分類輸出的結果為離散的值，回歸輸出的是乙個連續型的值。線性回歸的思想就是試圖找到乙個多元的線性函式 當輸入一組特徵 也就是變數x 的時候，模型輸出乙個 值y h x 我們要求這個 值盡可能的準確，那麼怎麼樣才能做到盡可能準確呢？其中 表示實際值，表示 值 其中 表示實際值...
線性模型（二） 線性回歸公式推導
我們在初中學習線性方程的時候就已經接觸過回歸的相關概念，在這裡簡單介紹一下機器學習中的 回歸 機器學習的目的有兩個 回歸和分類，回歸是解決連續資料的 問題，而分類是為了解決離散資料的 問題。線性回歸是機器學習演算法中最簡單的演算法之一，它是監督學習的一種演算法，主要思想是在給定訓練集上學習得到乙個線...
線性回歸數學推導
個人掘金鏈結 概率 probability 描述已知引數時的隨機變數的輸出結果 似然函式 likelihood 用來描述已知隨機變數輸出結果時，未知引數的可能取值。l theta x f x theta 似然函式和密度函式是完全不同的兩個數學物件，前者是關於 theta 的函式，後者是關於 x 的函...