線性判別分析（LDA）

說明：本文為個人隨筆記錄，目的在於簡單了解lda的原理，為後面詳細分析打下基礎。

一、lda的原理

lda的全稱是linear discriminant analysis（線性判別分析），是一種supervised learning。

lda的原理：將帶上標籤的資料（點），通過投影的方法，投影到維度更低的空間中，使得投影後的點，會形成按類別區分，一簇一簇的情況，相同類別的點，將會在投影後的空間中更接近。因為lda是一種線性分類器。對於k-分類的乙個分類問題，會有k個線性函式：

當滿足條件：對於所有的j，都有yk > yj,的時候，我們就說x屬於類別k。

上式實際上就是一種投影，是將乙個高維的點投影到一條高維的直線上，lda最求的目標是，給出乙個標註了類別的資料集，投影到了一條直線之後，能夠使得點盡量的按類別區分開，當k=2即二分類問題的時候，如下圖所示：

上圖提供了兩種方式，哪一種投影方式更好呢？從圖上可以直觀的看出右邊的比左邊的投影後分類的效果好，因此右邊的投影方式是一種更好地降維方式。

lda分類的乙個目標是使得不同類別之間的距離越遠越好，同一類別之中的距離越近越好。

二、lda演算法流程

輸入：資料集 d = ，任意樣本xi為n維向量，yi∈，共k個類別。現在要將其降維到d維；

輸出：降維後的資料集d'。

三、lda優缺點分析

lda演算法既可以用來降維，又可以用來分類，但是目前來說，主要還是用於降維。在我們進行影象識別影象識別相關的資料分析時，lda是乙個有力的工具。下面總結下lda演算法的優缺點。

lda演算法的主要優點有：

1）在降維過程中可以使用類別的先驗知識經驗，而像pca這樣的無監督學習則無法使用類別先驗知識。

2）lda在樣本分類資訊依賴均值而不是方差的時候，比pca之類的演算法較優。

lda演算法的主要缺點有：

1）lda不適合對非高斯分布樣本進行降維，pca也有這個問題。

2）lda降維最多降到類別數k-1的維數，如果我們降維的維度大於k-1，則不能使用lda。當然目前有一些lda的進化版演算法可以繞過這個問題。

3）lda在樣本分類資訊依賴方差而不是均值的時候，降維效果不好。

4）lda可能過度擬合資料。