機器學習 感知機演算法

感知機（perception）是一種二類線性模型，主要用於分類問題。

目標函式：

f(x)=sgn(w*x+b) 其中sgn為符號函式

其中向量w為目標函式向量，向量x為樣本。向量w=，向量x=

超平面：

w*x+b=0 所構成的平面

向量w為超平面上的法向量。

訓練集：

t=(x1,y1),(x2,y2),(x3,y3)…(xn,yn)

其中xn為向量，即為上面的向量x

yn的取值範圍為。即正類為1，負類為-1。

線性平分：

若向量w滿足，對於所有i，若w*xi+b>0則yi=1,若w*xi+n<0則yi=-1，則稱w線性平分x。

負分類：

對於任意i，若滿足 yi*(w*xi+b)<0則計為負分類。

通俗地來說也就是分錯類。

分類損失/代價函式

l(w,b) = -σyi*(wi*xi+b) 其中i為所有的負分類

若沒有負分類則 l(w,b)=0。

對於感知機演算法，我們需要做的是最小化l。

我們取出我們需要最優化的函式 l(w,b) = -σyi*(wi*xi+b) 其中i為所有的負分類

這東西一般使用隨機梯度下降法進行計算。

我們先隨機乙個向量w0和常數b0。

然後每次隨機選擇乙個負分類x，讓它對w和b進行梯度下降。

w=w-α*yi*xi ， b=b-α*xi 其中α為學習率。

然後繼續操作直到沒有負分類點。

機器學習演算法 感知機

今天把感知機的演算法用python實現了一下。主要依據的演算法流程是 統計學習方法 中關於感知機的演算法過程，具體如下。隨機生成訓練資料，測試資料也可同樣方法生成 m 樣本的個數 n 每個樣本具有的特徵維數 y 1 x np.random.random m,n x2 np.random.random...

機器學習 感知機

感知機是一種簡單的二類分類的線性分類模型，用於處理可以線性可分的二分類問題。感知機對應於輸入空間 特徵空間 中將例項劃分為正負兩類的分離超平面，屬於判別模型。模型。從輸入空間到輸出空間有如下函式 f x s ign wtx b 其中w 為權值，b為偏執。生成的超平面為 wt x b 0 其中w 為超...

機器學習 感知機

r nx rn 輸出空間為y 輸入x x x x表示例項的特徵向量，對應於輸入空間的點 輸出y y表示示例的類別。由輸入空間到輸出空間的函式為 x si gn w x b f x sign w x b x w x表示w和x的點積i 1mwi xi w 1x1 w2x2 wnx n i 1mwixi ...