標籤: 模式分類
不知道你還記不記得前面講過的判別函式的問題（見概述，貝葉斯策略，最大似然估計）
乙個」判別函式」是指由x的各個分量的線性組合而成的函式: g(
x)=w
tx+w
0 這裡w
是」權向量」，w0
被稱為」閾值權」或者」偏置」，一般情況下有c個這樣的判別函式，分別對應c類中的一類，我們總是選取gi
取得最大值的那個型別（希望明白的是，這個是使得後驗概率最大的那個型別，而有一種可能的線性判別函式是源於分布為正態分佈，而且假設σi
=σ2i
） 其實上面那種定義判別函式得到的分類器叫做」線性機」，線性機把特徵空間分為c個判決區域ri
(i=1
...c
),當x 在ri
中時，g
i 取得最大值，如果i≠
j,gi
=gj 可以得到乙個將ri
和rj 分開的超平面hi
j 實際上線性機的判決區域是凸的，是往往是單聯通的，這使得它為條件概率密度p(
x|wi
) 為單峰的問題設計線性機是比較適合的g(
x)=w
tx+w
0 加上額外的項，就可以很容易得到二次判別函式（考慮對應高斯分布是哪種情況）
g(甚至你可以加入更高次的項，於是可以愉快地得到多項式判別函式，實際上這可以看成某一種判別函式x)=w
0+∑i
=1d∑
j=1d
wijx
ixj（
wij=
wji）
g 的泰勒展開忽略更高階的無窮小
g(這裡a是d^x)=∑
i=1d
^aiy
i(x)
或者 g(x
)=at
y
維權向量，d^
個分量函式yi
(x) ，有時候被稱為
φ 函式，可以是x的任意函式。這樣的函式對應特徵提取子系統的結果，通過巧妙選擇這些函式，並使得d^
足夠大，就可以通過這樣的展開來逼近任何想要的判決函式。
換句話說，就是你對原始資料做乙個對映，對映到乙個新的特徵空間上，然後在特徵空間進行線性判別，但實際上，如果維度過高，會帶來很嚴重的」維度災難」，使得它往往很難實際應用。
假設我們有乙個包含n個樣本的集合，#y_1,y_2,\ … \ y_n#，一些標記為#w_1#,另一些標記為w2
,我們希望這些樣本確定判別函式g(
x)=a
ty的權向量
a 。我們有理由相信有乙個解，它產生錯誤的概率非常小，那麼很合理的想法是尋找乙個能把這些樣本都正確扥類的權向量。假如這個權向量存在，那麼這些樣本被稱為「線性可分」的。
對於乙個樣本yi
，如果aty
i>
0 ,就標記為w1
,如果at
yi<
0 ,則標記為w2
，特別的，如果取了等號，就不做區分，這樣我們可以用一種」規範化」(normalization)操作來簡化兩類樣本的訓練過程，也就是說屬於w2
的樣本，用負號表示，由此，我們尋找乙個對於所有樣本都有at
yi向量
a ,這樣的向量叫做「分離向量」(separating vector)更正規的說法是」解向量」(solution vector)
求解權向量的過程可認為是確定「權空間」(weight space)中的一點，每個樣本都對解向量的可能位置給出限制。等式at
yi=0
確定了乙個穿過權空間遠點的超平面，yi
為其法向量。解向量，如果存在，必須在每個超平面的正側，而且必須在n個正半空間的交疊區，而且該區域中的任意向量都是解向量，我們稱這樣的區域叫做「解區域」(solution region)，下面兩圖分別給出了規範化前和規範化後的解區域影象
考慮構造解線性不等式at
yi>
0 的準則函式問題，最顯然的選擇是假設j(
a;y1
,...
yn) 為被
a 分成錯的樣本數，但是這個函式是個分段的常值函式(顯然取值為自然數)，對梯度搜尋不是乙個很好的選擇，乙個更好的選擇是令感知器準則函式(perceotron criterion function):
jp(a)=
∑y∈y
(−at
y)這裡的y(a
) 是被
a 分錯的樣本集(如果都分對了，顯然
y是空集)，由於at
y≥0 , 所以j(
a)是非負的(從幾何上知道，j(
a)和分錯樣本到判決邊界距離之和成正比的)我們可以輕鬆根據下列方程，讓這個距離達到最小值 ∇j
p=∑y
∈y(−
y)a(
k+1)
=a(k
)+η(
k)∑y
∈yky
判別函式（四）之感知器演算法
基本思想 感知器的訓練演算法 已知兩個訓練模式集分別屬於 1類和 2類，權向量的初始值為w 1 可任意取值。若 若 若 若以上情況不符合，則表明該模式樣本在第k次中分類正確，因此權向量不變，即 w k 1 w k 若對此時，感知器演算法可統一寫成 感知器演算法實質上是一種賞罰過程對正確分類的模式則 ...
Fisher線性判別與感知器演算法Matlab實現
本文是在學習此書chapter4時，跑的實驗。x d n維輸入資料 t 標籤 w w0 w1 w2 mis class 錯誤分類資料點數 對t做簡單的檢查 if size unique t 2 2 return elseif max t 1 return elseif min t 1 return ...
模式識別 線性判別函式決策面的數學知識
以下問題均是基於二分類 若 g x 0，則x落在分類面h上。假設 x1 和 x2 都落在決策面h上，則 g x1 g x2 0 這說明 w和超平面h上任一向量正交，即w時h的法向量。當x在r1中時，g x 0，決策面的法向量指向r1，r1中的所有x在h的正側 當x在r2中時，g x 0，決策面的法向...