首先：李航——統計學習方法課後答案
正則化min
f∈f=
1n∑i
=1nl
(yi,
f(xi
))+λ
j(f)
min_} = \frac\sum_^n l(y_i, f(x_i)) + \lambda j(f)
minf∈f
=n1
i=1
∑nl
(yi
,f(x
i))
+λj(
f)其中，第一項是經驗風險（loss），第二項是正則化項；λ≥0
\lambda \ge 0
λ≥0 為調整二者關係的係數。
正則化項可以取不同的形式。例如：在回歸問題中，損失函式是平方損失，正則化項可以是引數向量的 l
2l_2
l2 正規化，也可以是引數向量的 l
1l_1
l1 正規化。
l (w
)=1n
∑i=1
n(f(
xi;w
)−yi
)2+(
λ2∣∣
w∣∣2
,,,,
λ∣∣w
∣∣1)
l(w) = \frac \sum_^(f(x_i; w) - y_i)^2 + ( \frac ||w||^2 , , , , \lambda||w||_1)
l(w)=n
1i=
1∑n
(f(x
i;w
)−yi
)2+
(2λ
∣∣w∣
∣2,,
,,λ∣
∣w∣∣
1)其中 ∣∣w
∣∣1,
∣∣w∣
∣2
||w||_1, ||w||^2
∣∣w∣∣1
,∣∣
w∣∣2
分別為 l1,
l2
l_1, l_2
l1,l2
範數。
一般情況下，經驗風險較小的模型可能比較複雜（有多個非零引數），這時候第二項的模型複雜度就會較大（與模型複雜度正相關）。
綜上，正則化的作用是選擇風險經驗與模型複雜度同時較小的模型。
生成模型與判別模型監督學習的任務就是學習乙個模型，應用這一模型，對給定的輸入**相應的輸出。這個模型的一般形式為決策函式：
y =f
(x
)y = f(x)
y=f(x)
或者條件概率分布：
p (y
∣x
)p(y|x)
p(y∣x)
監督學習的方法又分為生成方法（生成模型），判別方法（判別模型）。 p(y
∣x)=
p(x,
y)p(
x)
p(y|x) = \frac
p(y∣x)
=p(x
)p(x
,y)
因此學習模型就可以表示輸入 x
xx 與輸出 y
yy 的生成關係。典型的生成模型有： 樸素貝葉斯和隱馬爾可夫模型。
判別方法關心的是對給定輸入 x
xx，因該**出什麼樣的輸出 y
yy。典型的判別模型包括：k
kk 近鄰演算法、感知機、決策樹、logistic 回歸、最大熵模型、svm、crf等。
對比：
判別方法：
證明：當模型是概率分布，損失函式是對數損失時，經驗風險最小化等價於極大似然估計。
由題：
所以，當模型是概率分布時，對數損失的效果等價於極大似然估計。
後續章節記錄：
統計學習方法（二）-- 感知機， knn
統計學習方法 1 統計學習方法概論
統計學習的主要特點是 1 統計學習以計算機及網路為平台，是建立在計算機及網路之上的 2 統計學習以資料為研究物件，是資料驅動的學科 3 統計學習的目的是對資料進行 與分析 4 統計學習以方法為中心，統計學習方法構建模型並應用模型進行 與分析 5 統計學習是概率論 統計學 資訊理論 計算理論 最優化理...
《統計學習方法》筆記一 統計學習方法概論
好久沒有更新部落格了，這次主要想整理一下之前學習過的機器學習和深度學習有關的知識。我本身數學專業基礎比較薄弱，另外主要做計算機視覺應用所以這個系列的文章並不會涉及很多數學理論知識，學習這些機器學習方法也主要是為了找工作而用，主要了解其中的思想和非常基礎的推導過程。一 統計學習的分類 統計學習方法是基...
統計學習方法
這兩天翻了一下這本書，做個筆記，方便下次細看。本書主要講解統計學習中用到的監督學習。介紹了一些模型機器演算法。當參考書不錯，不怎麼適合死磕。第一章 主要介紹機器學習，統計學習的基本步驟，以及常用的表示方法。寫的比較系統，對於這個比較不熟悉的，可以好好看看。因為常用的模型就是這樣表示的，懂了這個看公式...