一直想好好掌握機器學習，西瓜書斷斷續續翻了幾遍，每次都是看完沒多久就忘記了，對細節也是一知半解，一直沒法形成知識系統。可能之前都只是讀，但沒有寫，沒有好好地進行總結，因此嘗試著自己做一下知識歸納。
從本質來說，線性模型就是通過屬性的線性組合來進行**的模型，假設xix_
xi是x
\bmx的第i個屬性，學習引數w
\bmw和b
\bmb，**函式為f(x
)f(x)
f(x)
：(1)f(
x)=w
tx+b
\begin f(x)=\bm^\bm+\bm \tag \end
f(x)=w
tx+b
(1)
有時候為了方便，會給x
xx增加乙個啞結點，即恒為1的輸入屬性，把b
bb也當做權值進行學習，此時的x
\bmx為(x1
,x2,
....
,xn,
1)
(x_,x_,....,x_,1)
(x1,x
2,.
...,
xn,
1)，w
\bmw為(w1
,w2,
....
,wn,
b)
(w_,w_,....,w_,b)
(w1,w
2,.
...,
wn,
b)，f (x
)f(x)
f(x)
可以寫作：
(2) f(
x)=w
tx
\begin f(x)=\bm^\bm \tag \end
f(x)=w
tx(
2)線性模型可以用來做回歸也可以做分類，在pca降維和lda線性判別中也是採用的線性模型，基本形式的svm也可以看作是線性模型，可以說線性模型應用廣泛，由於其形式簡單，各類問題都會先從線性模型入手，然後再通過核函式等方法往非線性模型拓展。
首先要討論的是線性回歸模型，回歸在個人理解就是在進行曲線擬合，這裡一定要區分線性回歸和邏輯回歸，線性回歸是用線性函式去擬合曲線，是真正意義上的回歸，而邏輯回歸實際上是分類，「邏輯回歸」這個詞似乎是有淵源的，但是這裡就不追究了。
線性回歸是試圖學得
f (x
i)=w
xi+b
i使得f
(xi)
≈yif(
xi)
=wxi
+bi
使得f
(xi
)≈yi
要學得引數w
\bmw和b
\bmb就要先規定損失函式，回歸的評價標準有均方誤差(mse)，均方根誤差(rmse)，平均絕對誤差(mae)，r平方誤差(r square)，這裡貼出公式：
機器學習之線性模型
一 基本形式 定義 給定由d個屬性描述的示例x x1 x2 xd 其中xi是x在第i個屬性上的取值，線性模型試圖學得乙個通過屬性的線性組合來進行 的函式，即 f x w1x1 w2x2 wdxd b 一般用向量形式寫成 其中二 典型的線性模型簡介 1 線性回歸 給定資料集d 如果將上面的屬性關係更加...
機器學習之線性回歸模型
1.線性回歸 什麼是回歸？從大量的函式結果和自變數反推回函式表示式的過程就是回歸。線性回歸是利用數理統計中回歸分析來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。一元線性回歸 只包括乙個自變數 和乙個因變數 且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。公式 多...
機器學習 線性模型
這篇文章總結了 3 種線性模型 線性回歸 對數線性回歸和邏輯斯蒂回歸 logistic regression，lr，對數機率回歸 假設資料集 d 其中 x i x x dots x y in r 也就是，資料集 d 共包含 m 個樣本，每個樣本含有 d 個屬性.線性回歸的目標是找到引數 w w 1,...