在主成分分析（pca）原理總結中，我們對降維演算法pca做了總結。這裡我們就對另外一種經典的降維方法線性判別分析（linear discriminant analysis, 以下簡稱lda）做乙個總結。lda在模式識別領域（比如人臉識別，艦艇識別等圖形影象識別領域）中有非常廣泛的應用，因此我們有必要了解下它的演算法原理。
在學習lda之前，有必要將其自然語言處理領域的lda區別開來，在自然語言處理領域， lda是隱含狄利克雷分布（latent dirichlet allocation，簡稱lda），他是一種處理文件的主題模型。我們本文只討論線性判別分析，因此後面所有的lda均指線性判別分析。
lda是一種監督學習的降維技術，也就是說它的資料集的每個樣本是有類別輸出的。這點和pca不同。pca是不考慮樣本類別輸出的無監督降維技術。lda的思想可以用一句話概括，就是「投影後類內方差最小，類間方差最大」。什麼意思呢？ 我們要將資料在低維度上進行投影，投影後希望每一種類別資料的投影點盡可能的接近，而不同類別的資料的類別中心之間的距離盡可能的大。
可能還是有點抽象，我們先看看最簡單的情況。假設我們有兩類資料 分別為紅色和藍色，如下圖所示，這些資料特徵是二維的，我們希望將這些資料投影到一維的一條直線，讓每一種類別資料的投影點盡可能的接近，而紅色和藍色資料中心之間的距離盡可能的大。
上圖中國提供了兩種投影方式，哪一種能更好的滿足我們的標準呢？從直觀上可以看出，右圖要比左圖的投影效果好，因為右圖的黑色資料和藍色資料各個較為集中，且類別之間的距離明顯。左圖則在邊界處資料混雜。以上就是lda的主要思想了，當然在實際應用中，我們的資料是多個類別的，我們的原始資料一般也是超過二維的，投影後的也一般不是直線，而是乙個低維的超平面。
在我們將上面直觀的內容轉化為可以度量的問題之前，我們先了解些必要的數學基礎知識，這些在後面講解具體lda原理時會用到。
我們首先來看看瑞利商的定義。瑞利商是指這樣的函式r(a,x):
lda用於降維，和pca有很多相同，也有很多不同的地方，因此值得好好的比較一下兩者的降維異同點。
首先我們看看相同點：
1）兩者均可以對資料進行降維。
2）兩者在降維時均使用了矩陣特徵分解的思想。
3）兩者都假設資料符合高斯分布。
我們接著看看不同點：
1）lda是有監督的降維方法，而pca是無監督的降維方法
2）lda降維最多降到類別數k-1的維數，而pca沒有這個限制。
3）lda除了可以用於降維，還可以用於分類。
4）lda選擇分類效能最好的投影方向，而pca選擇樣本點投影具有最大方差的方向。
這點可以從下圖形象的看出，在某些資料分布下lda比pca降維較優。
當然，某些某些資料分布下pca比lda降維較優，如下圖所示：
lda演算法既可以用來降維，又可以用來分類，但是目前來說，主要還是用於降維。在我們進行影象識別影象識別相關的資料分析時，lda是乙個有力的工具。下面總結下lda演算法的優缺點。
lda演算法的主要優點有：
1）在降維過程中可以使用類別的先驗知識經驗，而像pca這樣的無監督學習則無法使用類別先驗知識。
2）lda在樣本分類資訊依賴均值而不是方差的時候，比pca之類的演算法較優。
lda演算法的主要缺點有：
1）lda不適合對非高斯分布樣本進行降維，pca也有這個問題。
2）lda降維最多降到類別數k-1的維數，如果我們降維的維度大於k-1，則不能使用lda。當然目前有一些lda的進化版演算法可以繞過這個問題。
3）lda在樣本分類資訊依賴方差而不是均值的時候，降維效果不好。
4）lda可能過度擬合資料。
LDA 線性判別分析
1.lda是什麼 線性判別式分析 linear discriminant analysis 簡稱為lda。也稱為fisher線性判別 fisher linear discriminant，fld 是模式識別的經典演算法，在1996年由belhumeur引入模式識別和人工智慧領域。基本思想是將高維的模...
線性判別分析LDA
首先搞清楚什麼叫判別分析？discriminant analysis就是根據研究物件的各種特徵值判別其型別歸屬問題的一種多變數統計分析方法。根據判別標準不同，可以分為距離判別 fisher判別 bayes判別法等。比如在knn中用的就是距離判別，當然這裡的 距離 又有好幾種 歐氏距離 街區距離 甚至...
LDA 線性判別分析
定義 1.lda 線性判別式分析 linear discriminant analysis 也稱為fisher線性判別 fisher linear discriminant，fld 基本思想 將高維的模式樣本投影到最佳鑑別向量空間，以達到抽取分類資訊和壓縮特徵空間維數的效果，投影後保證模式樣本在新的...