##3.1基本定義
線性模型(linear model)試圖學得乙個通過屬性得線性組合來進行**得函式，即:
$$ f(x)=w_1x_1+w_2x_2+\dots+w_dx_d+b \quad(3.1)$$一般用向量的形式寫成
$$ f(x)=w^tx+b \quad(3.2)$$其中，$w=(w_1;w_2;\dots;w_d)$.$w$和$b$學得之後，模型就得以確定。
#一元線性回歸
給定資料集$ d=,y_i \in r$. 線性回歸(linear regression)試圖學得乙個線性模型以盡可能地**實值輸出標記，即：
$$f(x_i)=wx_i+b,使得f(x_i) \simeq y_i$$如果$w$和$b$確定了，那麼整個模型也就定義好了。但是，如何確定$w$和$b$呢？
顯然，如何確定$w$和$b$，與**值$f(x)$與真實值$y$之間的誤差密切相關。倘若，$w$和$b$很準確地確定下來，意味著$f(x)$與$y$地誤差將會非常小。我們可以從這個角度，求出$w$和$b$地值。均方誤差是回歸任務中常用的效能度量，我們在這裡也使用均方誤差來描述$f(x)$和$y$之間的差別。由於均方誤差是乙個凸函式，凸函式的最小值必然存在，那麼，$f(x)$和$y$的均方誤差取最小值時所對應的$w$和$b$就是所求值。
綜上所述，求$w$和$b$的的值的過程，實際上是求均方誤差極值點的問題，即：
mse(w,b) = }}\sum_^m(f(x_i)-y_i)^2= }}\sum_^m(wx_i+b-y_i)^2(3.3)
先將$mse(w,b)$對$b$求偏導數：
\frac = \sum_^m2(wx_i+b-y_i)
\qquad\qquad\,\,=2\left(w\sum_^mx_i+mb-\sum_^my_i \right)(3.4)
令公式3.4等於0，有：
w\sum_^mx_i+mb-\sum_^my_i=0
mb = \sum_^my_i-w\sum_^mx_i
b = \frac\sum_^my_i-w\frac\sum_^mx_i
b = \overline-w\overline(3.5)
再把$mse(w,b)$對$w$求偏導數：
\frac =\sum_^m2(wx_i+b-y_i)x_i
\qquad\qquad\,\,=\sum_^n2(wx_1^2+bx_i-y_ix_i)
\qquad\qquad\,\,=2\left(w\sum_^mx_i^2-\sum_^m(y_i-b)x_i\right)(3.6)
令上式等於0，把式3.5代入有：
w\sum_^mx_i^2-\sum_^m(y_i-\overline+w\overline)x_i=0
w\sum_^mx_i^2-\sum_^m(y_ix_i-\overlinex_i)-w\sum_^m\overlinex_i=0
w\sum_^m(x_i^2-\overlinex_i) = \sum_^m(y_ix_i-\overlinex_i)
w = \frac^m(y_ix_i-\overlinex_i)}^m(x_i^2-\overlinex_i)}
\quad =\frac^m(y_ix_i-\overlinex_i-y_i\overline+\overline\,\overline)}^m(x_i^2-\overlinex_i-x_i\overline+\overline\,\overline)}
$(因為$
\sum_^my_i\overline=m\frac\sum_^my_i\overline=m\overline\,\overline=\sum_^m\overline\,\overline
\sum_^mx_i\overline=m\frac\sum_^mx_i\overline=m\overline\,\overline=\sum_^m\overline\,\overline
\quad = \frac^m(y_i-\overline)(x_i-\overline)}^m(x_i-\overline)^2}
$(3.7)（因為$
(y_i-\overline)(x_i-\overline)=y_ix_i-y_i\overline-\overlinex_i+\overline\,\overline
綜上所述，給出給定訓練資料集$ d=,y_i \in r$，可以根據式3.7計算出$w$的值，然後再根據式3.5計算出$b$的值，至此，線性回歸模型$f(x)$就確定下來了。
機器學習 西瓜書 三 線性回歸 對數線性回歸
牆裂推薦閱讀 的衍生物 假設樣本x有d個屬性，線性模型 linear model 試圖學得乙個通過屬性的線性組合來進行 的函式，即f x w 1x1 w2x2 wdxd bf x w1 x1 w 2x2 w dxd b，向量形式 f x w tx b f x wt x b對離散屬性，若屬性值之間存在...
機器學習西瓜書筆記 3 2 線性回歸
系統 系統的學習非常非常重要，所以 看書 是非常非常必要且高效的我們先考慮一種最簡單的情形 輸入 屬性的數目只有乙個 為便於討論，此時我們忽略關於屬性的下標，即 d y 對離散屬性，若屬性值間 存在 序 order 關係 可通過連續化將其轉化為連續值，例如二值屬性 身高 的取值 高 矮 可轉化為，三...
作業 「西瓜書」邏輯回歸
名稱 描述對數機率回歸演算法的過程。提交形式 簡潔的文字描述演算法的通用形式，文字打卡提交。邏輯回歸 logistic regression 也稱為對數機率回歸。雖然名字上是回歸，但實際是處理分類問題的演算法 回歸問題的輸出是連續值，分類問題的輸出是離散值 1.引入 多元 線性回歸 廣義線性回歸 對...