參考：周志華機器學習第三章
給定由d個屬性描述的示例x=
(x1;
x2;.
..;x
d)，其中xi是x在第i個屬性上的取值，線性模型試圖學得乙個通過屬性的線性組合來進行**函式，即 f(
x)=w
1x1+
w2x2
+...
+wdx
d+b
一般用向量形式寫成 f(
x)=w
tx+b
其中w=
(w1;
w2;.
..;w
d).w和b學得之後，模型就得以確定。
線性模型的特點：
形式簡單
具有很好的可解釋性
給定資料集d=
(x1,
y1),
(x2,
y2),
...,
(xm,
ym) ，其中xi
=(xi
1;xi
2;xi
3;..
.;xi
d)，線性回歸試圖學得乙個線性模型以盡可能準確地**實值輸出標記。最簡單的情形是輸入屬性的數目只有乙個時，此時d=
mi=1
,xi∈
r . 周志華老師教材中使用的資料集如下：
編號色澤
根蒂敲聲
紋理臍部
觸感密度
含糖率好瓜1青綠
蜷縮濁響
清晰凹陷
硬滑0.697
0.46是2
烏黑蜷縮
沉悶清晰
凹陷硬滑
0.774
0.376是3
烏黑蜷縮
濁響清晰
凹陷硬滑
0.634
0.264是4
青綠蜷縮
沉悶清晰
凹陷硬滑
0.608
0.318是5
淺白蜷縮
濁響清晰
凹陷硬滑
0.556
0.215是6
青綠稍蜷
濁響清晰
稍凹軟粘
0.403
0.237是7
烏黑稍蜷
濁響稍糊
稍凹軟粘
0.481
0.149是8
烏黑稍蜷
濁響清晰
稍凹硬滑
0.437
0.211是9
烏黑稍蜷
沉悶稍糊
稍凹硬滑
0.666
0.091否10
青綠硬挺
清脆清晰
平坦軟粘
0.243
0.267否11
淺白硬挺
清脆模糊
平坦硬滑
0.245
0.057否12
淺白蜷縮
濁響模糊
平坦軟粘
0.343
0.099否13
青綠稍蜷
濁響稍糊
凹陷硬滑
0.639
0.161否14
淺白稍蜷
沉悶稍糊
凹陷硬滑
0.657
0.198否15
烏黑稍蜷
濁響清晰
稍凹軟粘
0.36
0.37否16
淺白蜷縮
濁響模糊
平坦硬滑
0.593
0.042否17
青綠蜷縮
沉悶稍糊
稍凹硬滑
0.719
0.103否
注意到x
i 的取值範圍是實數，因此需要將「青綠」、「平坦」等屬性值轉化為實值。對於離散屬性，若屬性值間存在「序」關係，則通過連續化將其轉化為連續值，如身高的高、低可轉化為
；若屬性值間不存在序關係，則通常將k個屬性值轉化為k維向量，如將屬性「瓜類」的取值「西瓜、南瓜、黃瓜」轉化為(0,0,1),(0,1,0),(1,0,0)。
線性回歸試圖學得f(
xi)=
wxi+
b ，使得f(
xi)≈
yi確定w和b的關鍵在於如何衡量f(x)與y之間的差距。這就要用到效能度量。
回歸任務最常使用的效能度量是均方誤差。 (w
∗,b∗
)=ar
gmin
(w,b
)∑mi
=1(f
(xi)
−yi)
2=ar
gmin
(w,b
)∑mi
=1(y
i−wx
i−b)
2 求解w和b使e(
w,b)
=∑mi
=1(y
i−wx
i−b)
2 最小化的過程，稱為線性回歸模型的最小二乘引數估計。將e(
w,b)
分別對w和b求導並使其為零可得到w和b最優解的閉式解。 w=
∑mi=
1yi(
xi−x
¯)∑m
i=1x
2i−1
m∑mi
=1xi
2 b=
1m∑m
i=1(
yi−w
xi) 其中x¯
為x的均值
機器學習筆記 線性模型
寫在前面的一些廢話 伴隨課程以及自習，學得既算系統也算零散。學校多統計，演算法講解幾近寥寥。自古以來，統計系的教授多半樂於指摘機器學習與人工智慧，但學科總又不得不與之掛鉤密切，且多隨其發展潮起潮落。內部糾紛，不足為外人道已。只有深受其紛雜概念困擾的學習者，感觸頗深。不隨時總結，建立知識庫，實在容易迷...
機器學習 線性模型
這篇文章總結了 3 種線性模型 線性回歸 對數線性回歸和邏輯斯蒂回歸 logistic regression，lr，對數機率回歸 假設資料集 d 其中 x i x x dots x y in r 也就是，資料集 d 共包含 m 個樣本，每個樣本含有 d 個屬性.線性回歸的目標是找到引數 w w 1,...
機器學習筆記5 線性模型（二）
四 線性判別分析 線性判別分析 linear discriminant analysis，lda 的思想是 把全體美女集中到操場上，在操場上畫出一條白直線，設法將每位美女都投影到這條線上，使女神的投影點盡可能集中到一起，女漢子的投影點盡可能集中到一起，而且女神們投影點的中心和女漢子們投影點的中心盡可...