LDA 線性判別分析（一）

本來是要調研 latent dirichlet allocation 的那個 lda 的, 沒想到查到很多

關於 linear discriminant analysis 這個 lda 的資料。初步看了看，覺得數學味挺濃，
寫得不是很詳細，而且在概念和記號等方面也比較混亂，因此，在整理本文時，
我有意識地牽了一根主線，想讓讀者讀起來有循序漸進的感覺，記號上也力求規範和統一。
期間參考了若干文獻，以及一些優秀的部落格，如 jerrylead、
leftnoteasy、
webdancer、xiaodongrush 
等的博文，在這裡對他們的辛勤寫作和無私分享表示感謝。文中的數學推導過程寫得比較
細，方便有需求的讀者參考。此外，文中還通過加註的形式放入了一些自己的理解。 當由於
水平有限，錯誤遺漏之處在所難免, 希望讀者朋友可以指出，也
歡迎交流
。

1.1 分類問題的描述

1.2 拉格朗日乘子法

第 2 節two-classes 情形的數學推導

2.1 基本思想

2.2 目標函式

2.3 極值求解

2.4 閥值選取

第 3 節推廣到 multi-classes 情形

3.1 降維問題的描述

3.2 目標函式與極值求解

3.3 降維幅度

第 4 節其他幾個相關問題

相關鏈結

1.  jerrylead 的博文 《線性判別分析（linear discriminant analysis）（一）》

2.  jerrylead 的博文 《線性判別分析（linear discriminant analysis）（二）》

3.  leftnoteasy 的博文 《機器學習中的數學（4）-線性判別分析（lda），主成分分析（pca）》

4.  webdancer 的博文 《lda-linear discriminant analysis》

5.  xiaodongrush 的博文 《線性判別式分析-lda-linear discriminant analysis》

6.  peghoty 的博文《關於協方差矩陣的理解》

7.  peghoty 的博文《ufldl教程學習筆記（四）主成分分析》

出處: 

LDA 線性判別分析

1.lda是什麼 線性判別式分析 linear discriminant analysis 簡稱為lda。也稱為fisher線性判別 fisher linear discriminant，fld 是模式識別的經典演算法，在1996年由belhumeur引入模式識別和人工智慧領域。基本思想是將高維的模...

線性判別分析LDA

首先搞清楚什麼叫判別分析？discriminant analysis就是根據研究物件的各種特徵值判別其型別歸屬問題的一種多變數統計分析方法。根據判別標準不同，可以分為距離判別 fisher判別 bayes判別法等。比如在knn中用的就是距離判別，當然這裡的 距離 又有好幾種 歐氏距離 街區距離 甚至...

LDA 線性判別分析

定義 1.lda 線性判別式分析 linear discriminant analysis 也稱為fisher線性判別 fisher linear discriminant，fld 基本思想 將高維的模式樣本投影到最佳鑑別向量空間，以達到抽取分類資訊和壓縮特徵空間維數的效果，投影後保證模式樣本在新的...