目錄感知機的演算法
\[\begin sign(x) = \left\ +1&, x \geq 0 \\
-1 &, x <0 \end \right. \end \]
假設空間\(\\)
存在超平面\(w\cdot x+b=0\)使得正負樣例在超平面兩側
資料集線性可分的充分必要條件是，正負例項點所構成的凸殼互不相交
\(conv(s) = \^\lambda_i x_i|\sum_^\lambda_i = 1,\lambda_i \geq 0\}\)
輸入空間一點:\(x_0\in x\),到超平面距離
\[\frac|w\cdot x_0+b|
\]對於誤分類的資料
\[-y_i(w\cdot x_i+b)\geq 0
\]誤分類點集合\(m\),誤分類點到超平面總距離為
\[-\frac\sum_y_i(w\cdot x_i+b)
\]不考慮\(\frac\),損失函式為
\[l(w,b) = -\sum_y_i(w\cdot x_i+b)
\]求函式極小化的解
\[\undersetl(w,b) = -\sum_y_i(w\cdot x_i+b)
\]損失函式的梯度
\(\nabla_w l = -\sum_x_iy_i\)
\(\nabla_bl = -\sum_y_i\)
隨機梯度下降.選取誤分類點\((x_i,y_i)\)
\(w\leftarrow w+ \eta y_ix_i\)
\(b\leftarrow b + \eta y_i\)
\(\eta\): learning rate
\(w\leftarrow w+ \eta y_ix_i\)
\(b\leftarrow b + \eta y_i\)
最後學習到的w.b可以表示為
\(w = \sum_^\alpha_iy_ix_i\)
\(b = \sum_^\alpha_iy_i\)
\(\alpha_i >0\),當\(\eta=1\)是表示第\(i\)個樣本點被更新的次數
感知機模型:
\(f(x)=sign(\sum_^\alpha_iy_ix_i\cdot x+b)\)
\(\alpha = (\alpha_1,\alpha_2,\cdots,\alpha_n)^t\)
隨機梯度下降,對於誤分類點\((x_i,y_i)\)
\(\alpha_i \leftarrow \alpha_i+\eta\)
\(b\leftarrow b+\eta y_i\)
對偶形式中，資料樣例僅僅以內積的形式出現
\(gram\)矩陣
\(g=[x_i\cdot x_j]_\)
第二章 感知機
感知機 是根據輸入例項的特徵向量x 對其進行二類分類的線性分類模型 f x sign w,x b 感知機對應於輸入空間的分離超平面wx b 0 學習策略是極小化損失函式 損失函式對應於誤分類點到分離超平面的總距離 學習演算法是基於隨機梯度下降法的對損失函式的最優化演算法 有原始形式和對偶形式，演算法...
魚書 第二章 感知機
1.感知機 接收多個輸入訊號 x1，x2，輸出乙個訊號 y w是權重，稱為 神經元 神經元或者 節點 輸入訊號分別乘以固定的權重送入到神經元，神經元計算訊號的總和，當超過設定的某個界限時，輸出1，這也稱為 神經元被啟用 其中，這個界限稱為閾值，用 表示。感知機的中的每個輸入訊號都有其固有的權重，權重...
第二章 感知機的python實現
這裡是我的個人 本來想寫乙個關於感知機的總結，但如果要深入 涉及的東西實在太多。僅僅淺嘗輒止的話，那我就相當於照搬原文，違背了我寫文章的初衷。所以就單純地把我自己寫的感知機實現 發上來，輔助大家學習。我還提供了乙個資料生成器，可以生成訓練模型所需要的資料。簡單地對結果做了視覺化，具體繪製 見文末提供...