（一）線性模型

:# 基本形式

給定由d個屬性描述的特徵 x=

，其中x 是在第i個屬性位置上的取值，這樣就形成了乙個線性函式，定義如下：

令 x 1 = 1寫成向量形式如下：

我們的目標就是去求這些引數，如何確定引數，關鍵在於如何去衡量 h(x)和y之間的差別。均方誤差是回歸任務中最常用的效能度量，因此我們可以試圖讓均方誤差最小化，描述這個誤差的函式叫損失函式（loss function）或者錯誤函式(error function)即：

這個錯誤估計函式是去對x(i)的估計值與真實值y(i)差的平方和作為錯誤估計函式，前面乘上的1/2是為了在求導的時候，這個係數就不見了。最小二乘建立的目標函式，是在高斯雜訊的假設下，利用極大似然估計的方法建立的。

（1）直接求導

對於上述的loss function，我們可以表達成向量的形式，如下

矩陣求導參考：

此方法要求xt

x滿秩矩陣或者正定矩陣。計算矩陣的逆需要較長的時間。

（2）梯度下降

梯度下降法是按下面的流程進行的：

1. 初始化引數（隨機初始化）

2. 迭代，新的引數能夠是的j(theta)減小

3. 如果j(theta)無法繼續減小或者達到迴圈次數，則退出。