1 什麼是感知機 在
機器學習中，感知機（perceptron）是二分類的線性分類模型，屬於監督學習演算法。輸入為例項的特徵向量，輸出為例項的類別（取+1和-1）。感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面，為求得超平面匯入了基於誤分類的損失函式，利用梯度下降法 對損失函式進行最優化（最優化）。感知機的學習演算法具有簡單而易於實現的優點，分為原始形式和對偶形式。感知機**是用學習得到的感知機模型對新的例項進行**的，因此屬於判別模型。感知機由rosenblatt於2023年提出的，是神經網路和支援向量機的基礎。輸入x表示例項的特徵向量，對應輸入空間的點，輸出空間y表示例項的類別，屬兔空間到輸出空間的函式，稱為感知機。
感知機是在輸入空間中將例項劃分為兩類的超平面，感知機是判別模型。
感知機是神經網路和支援向量機（svm）的基礎，表示式如下：
sign是符號函式：
在二分類問題中f(x)等於+1 表示正例，f(x)等於-1表示負例。線性方程wx+b=0（直線，平面，超平面）可以分離正例和負例，如所示：
2 感知機的損失函式定義
1）自然選擇：誤分類的點的數目（不是w和b的函式，難以用來優化w和b）
2）誤分類的點到超平面的距離和
|wx +b|（函式距離，可以衡量相對距離）
（幾何距離）
因為正例y值為1 負例y值為-1，所以所有正確的劃分：
錯誤的劃分上式的值為負，
誤分類到超平面的距離為
不考慮||w||，得到的誤差函式為：
這個損失函式就是感知機學習的
經驗風險函式
。這樣，分類問題轉化成求l函式的最優化問題。
2 感知機的學習策略
最優化的方法是隨機梯度下降法（stochastic gradient descent）。簡單的說，sgd是誤分類驅動的就是隨機初始化w0和b0，使用梯度下降法不斷地最小化目標函式，即：
通過計算梯度（偏導數）來更新w和b,n是步長學習率，也就是更新的步長，通過不斷的迭代，將誤差下降為0，此後，w和b將不會改變（因為是誤分類驅動的），分類模型穩定。 η
正樣本點：x1
=(3,
3)t
,x2=
(4,3
)t負樣本點：x1
=(1,
1)t
求感知機模型f(x)=(wx+b) 其中 w=（w1，w2），
解答思路：根據上面講解的，寫初始化權值w和偏置b，然後一步一步的更新權值，直到所有的點都分正確為止。
解：（1） 令w0
=0,b
0=0
（2） 隨機的取乙個點，x1
未正確分類。更新w0--> w1=w0+ny1x1,b1=b0+ny1
同理計算，最後得到w=（1,1）b=-3 y
i(
統計學習方法 第二章 感知機
感知機是二分類的線性分類模型，輸入是例項的特徵x rn，輸出是例項的類別 感知機對應於輸入空間中將例項劃分為正負兩類的分離超平面，屬於判別模型。感知機學習旨在求出將訓練資料進行線性劃分的分離超平面，為此，匯入基於誤分類的損失函式，利用梯度下降法對損失函式進行極小化，求得感知機模型。假設輸入空間 特徵...
感知機 《統計學習方法》第二章
模型 線性分類模型 屬於判別模型 策略 演算法 梯度下降法 由輸入空間到輸出空間的函式 f x s ign wx b f x si gn w x b 其中w是權值向量，b是偏置。wx b 0 w x b 0對應特徵空間中的乙個超平面s，w是超平面的法向量，b是超平面的截距。這個超平面將特徵空間劃分為...
《統計學習方法》 第二章 感知機
1 感知機定義 2 幾何解釋 1 資料集的線性可分性 2 感知機的學習策略 感知機的學習策略是 在假設空間中選取損失函式最小的模型。1 感知機學習演算法的原始形式 第三步 重複第 二 三兩步直到訓練集上沒有錯誤樣本點.該演算法的直觀解釋 2 感知機學習演算法的對偶形式 注意 書中的演算法過程使用b ...