牆裂推薦閱讀：ｙ的衍生物
假設樣本x有d個屬性，線性模型（linear model）試圖學得乙個通過屬性的線性組合來進行**的函式，即f(
x)=w
1x1+
w2x2
+⋅⋯+
wdxd
+bf (x
)=w1
x1+w
2x2+
⋅⋯+w
dxd+
b，向量形式 f(
x)=w
tx+b
f (x
)=wt
x+b對離散屬性，若屬性值之間存在「序」（order）關係，可通過連續化將其轉化為連續值，例如二值屬性身高的取值，「高」「矮」可和轉化為｛1.0 ， 0｝。 若屬性值之間不存在序的關係，例如屬性「瓜類」的取值為西瓜，南瓜，冬瓜，則可轉化為（0，0，1），（0，1，0），（1，0，0）。
假設解乙個線性方程組，當方程數大於自由變數數時，是沒有解的。反過來，當方程數小於自由變數數的時候，解就有很多個了。往往，我們會碰到這種情況，引數多，「方程」少的情況，那麼有很多個w（權值向量）都能使均方誤差最小，那麼該選哪乙個呢？ 這就涉及到 歸納偏好問題了，常見的做法是引入正則化項。
把線性回歸模型簡寫為：f(
x)=w
tx+b
f (x
)=wt
x+b，當我們希望線性模型的**值逼近真實標記y，這樣就是線性模型。那可否令模型的**值畢竟y的衍生物呢？ 作者的這一描述實在太妙了！y的衍生物，通俗易懂！ 假設y的衍生物是 y的對數即lny，那麼就可以得到對數線性回歸模型：ln
y=wt
x+b lny
=wtx
+b， 也就是讓模型 去逼近 lny，而不是y。也可以對ln
y=wt
x+b lny
=wtx
+b做一下變換就變成了 y=
ewtx
+by =e
wtx+
b，也可以理解為讓 ew
tx+b
e wt
x+b去逼近y。形式上還是線性回歸的，但實質上已是在求取輸入空間到輸出空間的非線性函式對映。如圖：
來思考乙個問題
想從線性模型出發，去擴充套件線性模型，就是讓線性模型f(
x)=w
tx+b
f (x
)=wt
x+b去擬合y的衍生物，那麼我們常說的邏輯回歸（對數機率回歸）是怎麼從線性模型演變而來的呢？是讓wt
x+b wtx
+b去擬合哪一種「ｙ的衍生物」 什麼呢？這個可以思考思考後，請看下篇：邏輯回歸
機器學習西瓜書閱讀筆記 （三）線性模型
解決分類問題 線性判別分析 lda 多分類學習 解決正負樣本比例不協調問題 參考文獻 線性模型的思想主要在於試圖通過乙個關於所有特徵的線性組合來學的乙個 函式，如下 通常我們為了利於程式的實現會通過向量的形式出現，如下 w和b學得之後，模型就可以確定 在西瓜書中，主要從三個方面介紹線性模型的應用 解...
機器學習（三） 線性回歸
矩陣是二維陣列的另一種說法。矩陣的維數即行數 列數。aij指第i行，第j列的元素。向量是一種特殊的矩陣，是只有一列的矩陣。通常在書寫時，使用大寫字母表示矩陣，小寫字母表示向量。mn矩陣乘以no矩陣變成m o矩陣。通過構建兩個矩陣可以快速地把這三個假設函式應用到4個房子的尺寸中，得到12種基於3個假設...
機器學習西瓜書筆記 3 2 線性回歸
系統 系統的學習非常非常重要，所以 看書 是非常非常必要且高效的我們先考慮一種最簡單的情形 輸入 屬性的數目只有乙個 為便於討論，此時我們忽略關於屬性的下標，即 d y 對離散屬性，若屬性值間 存在 序 order 關係 可通過連續化將其轉化為連續值，例如二值屬性 身高 的取值 高 矮 可轉化為，三...