最近終於有開始看《統計學習方法》了，畢竟無腦調參確實沒有什麼意義。一方面是作為看書的筆記，一方面作為比部落格或許能起到一點參考作用吧。
希望可以日更。
由輸入空間到輸出空間的函式：
f (x
)=si
gn(w
⋅x+b
)f(x) = sign(w\cdot x+b)
f(x)=s
ign(
w⋅x+
b)稱為感知機。
感知機是一種線性分類模型，屬於判別模型。
感知機的損失函式：
− 1∥
w∥∑x
i∈my
i(w⋅
xi+b
)-\frac \sum_\in m}y_(w\cdot x_+b)
−∥w∥1
xi∈
m∑y
i(w
⋅xi
+b)注意：損失函式不需要考慮−1∥
w∥-\frac
−∥w∥1
感知機其實有兩種學習演算法：
原始學習演算法
對偶學習演算法
每次選取乙個誤分類點來進行更新。
輸入：訓練資料集t，學習率η。
輸出：w, b; 感知機模型:f(x
)=si
gn(w
⋅x+b
)f(x) = sign(w\cdot x+b)
f(x)=s
ign(
w⋅x+
b)。過程：
選出初值w0,
b0w_, b_
w0,b0
;在訓練集中選取資料(xi
,yi)
(x_, y_)
(xi,y
i);
如果y i(
w⋅xi
+b)≤
0y_(w \cdot x_ + b)\leq 0
yi(w⋅
xi+
b)≤0,w←
w+ηy
ixiw\leftarrow w + \eta y_x_
w←w+ηy
ixib←
b+ηy
ib\leftarrow b + \eta y_
b←b+ηy
i移動到(2)，直到訓練集中沒有誤分類點。
對偶形式的基本想法是，將w和b表示為例項和標記的線性組合的形式，通過求解其係數而求的w和b。在原始演算法的基礎上假設初始值為0。這樣，最後學習到的w和b可以表示為：
w =∑
i=1n
αiyi
xiw = \sum _^ \alpha_y_x_
w=i=1∑
nαi
yi
xib=∑
i=1n
αiyi
b = \sum _ ^ \alpha_y_
b=i=1∑
nαi
yi
其中α i=
ηni\alpha_ = \eta n_
αi=ηn
i, n in_
ni是第i個點誤分類的次數。
輸入：訓練資料集t
輸出：α,b
\alpha, b
α,b; 感知機模型f(x
)=si
gn(∑
j=1n
αjyj
xj⋅x
+b)f(x)=sign(\sum _^\alpha _j y_j x_j \cdot x+b)
f(x)=s
ign(
∑j=1
nαj
yj
xj⋅
x+b)
, 其中α
\alpha
α是向量。
過程：a←0
,b←0
;a\leftarrow0, b\leftarrow0;
a←0,b←
0;在訓練集中選擇資料(xi
,yi)
(x_, y_)
(xi,y
i)若f(x
)←0f(x)\leftarrow0
f(x)←0,αi
←αi+
η\alpha_ \leftarrow\alpha_+\eta
αi←αi
+ηb←b
+ηyi
b\leftarrow b+\eta y_
b←b+ηy
i轉至(2)直到沒有誤分類的資料。
其實，感知機的兩種演算法都已經介紹完了。但是，感知機演算法非常重要的一點是——如何證明其的收斂性，也就是證明在訓練集線性可分的情況下該演算法在經過有限次數的迭代之後可以線性分割該訓練集。
（打latex確實是太麻煩了，所以直接手寫了，字醜見諒。）
感知機 統計學習方法
一 感知機適用問題以及它的輸入，輸出，求解方法 1 感知機 perceptron 適用於二類分類問題 該分類問題是線性可分問題 2 感知機模型是線性分類模型 3 感知機的幾何解釋，感知機對應的是乙個超平面 4 輸入 例項的特徵向量 5 輸出 例項的類別，取 1和 1二值 6 求解方法 有監督學習 給...
統計學習方法之感知機
在翻閱知乎時，得知李航所著的 統計學習方法 一書，於是就買了一本，看到csdn上已有大牛都發了相關的部落格，再次贅述就顯得囉嗦了，就直接上乾貨吧，自己用matlab寫的 和一些自己再看書時的小小的理解。感知機是一種二類分類的線性模型模型，是乙個將輸入空間 特徵空間 分成正負兩類的分離超平面。它的更多...
統計學習方法（三） 感知機
定性 是一種二類分類的線性模型，屬於判別模型 即從資料中直接學習得到的模型 旨在求出將訓練資料進行線性劃分的分離超平面。求得感知機模型的方法思路 利用梯度下降法對基於誤分類點的損失函式進行極小化。下面分別從模型，策略，演算法三個方面展開描述 1.模型 定義 f x sign w x b 其中x是特徵...