我們知道，基於樣本直接設計分類器需要三個基本要素：判別函式型別、分類器設計準則、尋優演算法。這裡我們討論的線性判別函式型別為：g(
x)=w
tx+w
0 。採用不同的準則和不同的尋優演算法就會得到不同的線性分類器。
一、線性判別函式
剛才我們說了，線性分類器的判別函式型是線性判別函式： g
(x)=
wtx+
w0
其中，w0
是乙個常數，x
是d維的特徵向量，w
為權值向量，分別為： x=
⎡⎣⎢⎢
⎢x1x
2⋯xd
⎤⎦⎥⎥
⎥w=⎡
⎣⎢⎢⎢
w1w2
⋯wd⎤
⎦⎥⎥⎥
方程g(x)=
0 就是乙個決策面，當g(
x)是線性函式時，這個決策面就是乙個超平面。
對於決策面上的任意兩點xi
,xj
都有： wt
x1+w
0=wt
x2+w
0即wt
(x1−
x2)=
0 二、fisher線性判別分析
兩類的線性判別問題可以看作是把所有樣本都投影到乙個方向，然後再這個一維空間中確定乙個分類的閾值，過這個閾值點且與投影方向垂直的超平面就是兩類的分類面。
像上圖所示的兩種投影方案，左邊的投影方向可以將兩種樣本區分開來，而右邊的投影方向不能區分開來，所以左邊的投影方向更好。
fisher線性判別的思想是：選擇投影方向，使得投影後兩類相隔盡可能遠，而同一類內的樣本盡可能聚集。
現在我們來定量的分析fisher線性判別問題。為了簡單考慮，我們只討論二分類問題。
訓練樣本集是χ=
，其中每個樣本xi
是乙個d 維的向量，其中屬於w1
類的樣本是χ1
= ，屬於w2
類的樣本是χ2
= ，我們的目的是尋找乙個投影方向
w (也是乙個
d 維向量)，投影後的樣本為yi
=wtx
i 定義：
原樣本空間中：
1)類均值向量為： m
i=1n
i∑xj
∈χix
ji=1
,2
2)各類的類內離散度矩陣為： si
=∑xj
∈χi(
xj−m
i)(x
j−mi
)ti=
1,2
3)總類內離散度矩陣為： sw
=s1+
s2
4)類間離散度矩陣為： sb
=(m1
−m2)
(m1−
m2)t
投影到一維空間後，
1)兩類的均值分別為： m^
i=1n
i∑yj
∈yiy
j=1n
i∑xj
∈χiw
txj=
wtmi
2)類內離散度值(不是矩陣)： s2
i^=∑
yj∈y
i(yj
−mi^
)2i=
1,2
3)總類內離散度為： sw
^=s2
1^+s
22^
4)類間離散度即兩類均值差的平方： sb
^=(m
1^−m
2^)2
根據我們的目標：投影後兩類相隔盡可能遠，而同一類內的樣本盡可能聚集，可以表示成： m
axjf
(w)=
sb^s
w^=(
m1^−
m2^)
2s21
^+s2
2^(1)
公式(1)就稱為：
fisher準則函式。又：
sb^=
(m1^
−m2^
)2=(
wtm1
−wtm
2)2=
wt(m
1−m2
)(m1
−m2)
tw=w
tsbw
sw^=s
21^+
s22^
=∑xj
∈χ1(
wtxj
−wtm
1)2+
∑xj∈
χ2(w
txj−
wtm2
)2=∑
xj∈χ
1wt(
xj−m
1)(x
j−m1
)tw+
∑xj∈
χ2wt
(xj−
m2)(
xj−m
2)tw
=wts
1w+w
ts2w
=wts
ww
因此fisher判別準則可寫成： ma
xwjf
(w)=
wtsb
wwts
ww(2)
為了簡化計算，我們可以將(2)的分母設為乙個非零常數，因此該準則又可寫作： ma
xwts
bws.
t.wt
sww=
c≠0
等式約束下的極值問題可以通過引入拉格朗日乘子轉化成拉格朗日函式的無約束極值問題： l(
w,λ)
=wts
bw−λ
(wts
ww−c
) 對
l(w,
λ)求導計算極值，極值解應滿足：sb
w∗−λ
sww∗
=0(3)
當s_w是非奇異的時候，可以得到： s−
1wsb
w∗=λ
w∗
將sb
代入得： λw
∗=s−
1w(m
1−m2
)(m1
−m2)
tw∗(4)
在等式(4)中，λ
是標量，(m
1−m2
)tw∗
也是標量，而標量是不影響w∗
的方向的，因此可以取： w∗
=s−1
w(m1
−m2)
這就是fisher判別準則下的最優投影方向。
接下來我們需要計算w0
，採取的決策規則是： 若
g(x)
=wtx
+w0{
>0則
x∈w1
<0則
x∈w2
當樣本是正態分佈且兩類協方差矩陣相同時， w0
=−12
(m1+
m2)t
s−1w
(m1−
m2)−
lnp(w
2)p(
w1)
當樣本不是正態分佈時，這種投影方向和閾值並不能保證是最優的，但是通常仍然可以取得較好的分類結果。
如果不考慮先驗概率的不同，則可以採用閾值： w0
=−12
(m1^
+m2^
) 或：
w0=−m^
其中m^
是所有樣本在投影後的均值。
fisher線性判別 判別分析 Fisher判別
上期 判別分析概述 中我們提到，判別分析 discriminant analysis 是根據判別物件若干個指標的觀測結果判定其應屬於哪一類的資料統計方法，其中fisher判別一般用於指標為定量資料的兩類判別，bayes判別多用於指標為定量資料的多類判別，同時，兩者均可利用spss完成，但在運用和解讀...
LDA 線性判別分析 Fisher線性判別
1.lda是什麼 線性判別式分析 linear discriminant analysis 簡稱為lda。也稱為fisher線性判別 fisher linear discriminant，fld 是模式識別的經典演算法，在1996年由belhumeur引入模式識別和人工智慧領域。基本思想是將高維的模...
線性分類器 Fisher線性判別
我們知道，基於樣本直接設計分類器需要三個基本要素 判別函式型別 分類器設計準則 尋優演算法。這裡我們討論的線性判別函式型別為 g x w tx w 0 採用不同的準則和不同的尋優演算法就會得到不同的線性分類器。一 線性判別函式 剛才我們說了，線性分類器的判別函式型是線性判別函式 g x w tx w...