線性模型檢視學的乙個通過屬性的線性組合來進行**的函式。如公式3-1所示。
[外鏈轉存失敗(img-znxwdron-1564968507771)( %3d w_1x_1+w_2x_2+…+w_dx_d+b)]
它可以用向量形式改寫，如公式3-2所示。
[外鏈轉存失敗(img-kiy4xxqu-1564968472267)( %3d w^tx+b)]
其中列向量[外鏈轉存失敗(img-c3yu5cvl-1564968472269)( %3d \left ( w1%3bw2%3b...%3bwd \right ))]
線性模型形式簡單，易於建模，可解釋性(comprehensibility)強，向量w和引數b習得之後模型隨之確定。
對於離散屬性，如果其值之間存在序關係，可通過連續化將其化為連續值。如「優」，「良」，」差「可以化為。將該屬性當作xi，則單變數線性回歸的函式可以表達為如公式3-3所示：
[外鏈轉存失敗(img-dwv5mf0o-1564968472270)( %3d wx_i + b%2c \%3af(x_i) \simeq y_i)]
該函式的主要引數是w和b，上一節中提到，確定向量w和引數b之後模型隨之確定，這裡是同樣的道理，只是w降維成了標量。
現在假設我們有若干對的(x,y)資料，要求**出x與y之間的線性關係函式。如果我們任意對w和b取值，那麼一定會得到若干個不同的**函式，我們的任務就是確定哪一對(w,b)確定的線性函式與各個資料點之間的距離之和最小。
由此引入代價函式的概念，如公式3-4所述：
[外鏈轉存失敗(img-ejedhj7g-1564968472272)( %3d \frac \sum_^(f(x_i)-y_i)^2)]
該式中w,b分別為線性回歸函式中的兩個引數，m為訓練樣本量，f(xi)為**函式值，yi為xi對應的實際取值。
這裡的代價函式中應用了均方誤差評價**函式的誤差程度，它對應於」歐式距離「，在幾何上可以得到很多好的解釋。基於該方法進行模型求解稱為」最小二乘法「。即找到一條直線，使得所有樣本到直線上的歐式距離之和最小。在數學上表達為：
機器學習 第三章線性模型 學習筆記
線性模型 給定由d個屬性描述的示例，線性模型試圖學得乙個通過屬性的線性組合來進行 的函式。f x wtx b 線性回歸試圖學得乙個線性模型以盡可能準確的 實值輸出標記，公式 f xi wxi b，使得f xi yi 除了利用線性模型進行回歸學習，也可以利用線性模型處理分類任務，我們只需要找乙個單調可...
第三章 線性模型
線性模型 linear mode 試圖學得乙個通過屬性的線性組合來進行 的函式 f x 1x1 2x 2 d xd b 向量形式 f x t x b 其中 1 2 d x x1 x2 x d 為由d個屬性描述的示例，x i 是 x 在第 i 個屬性上的取值。線性模型形式簡單，有豐富的變化，易於建模，...
周志華《機器學習》第三章習題3 3程式設計實現
題目 程式設計實現對率回歸，並給出西瓜資料集。由於給定的資料集只有17個資料，所以決定直接使用乙個單層的神經網路。注 對數機率函式y 1 1 e wtx b y frac y 1 e wtx b 1 usr bin env python coding utf 8 in 80 import numpy...