1、pca無需樣本標籤，屬於無監督學習降維；lda需要樣本標籤，屬於有監督學習降維。二者均是尋找一定的特徵向量w來降維的，其中，lda抓住樣本的判別特徵，pca則側重描敘特徵。概括來說，pca選擇樣本點投影具有最大方差的方向，lda選擇分類效能最好的方向。
2、pca降維是直接和特徵維度相關的，比如原始資料是d維的，那麼pca後，可以任意選取1維、2維，一直到d維都行（當然是對應特徵值大的那些）。lda降維是直接和類別的個數c相關的，與資料本身的維度沒關係，比如原始資料是d維的，一共有c個類別，那麼lda降維之後，一般就是1維，2維到c-1維進行選擇（當然對應的特徵值也是最大的一些）。要求降維後特徵向量維度大於c-1的，不能使用lda。
對於很多兩類分類的情況，lda之後就剩下1維，找到分類效果最好的乙個閾值貌似就可以了。舉個例子，假設圖象分類，兩個類別正例反例，每個圖象10000維特徵，那麼lda之後，就只有1維特徵，並且這維特徵的分類能力最好。
3、pca投影的座標系都是正交的，而lda根據類別的標註關注分類能力，因此不保證投影到的座標系是正交的（一般都不正交）
筆記 PCA降維
作為乙個非監督學習的降維方法，pca principal components analysis 顧名思義，就是找出資料裡最主要的方面，用資料裡最主要的方面來代替原始資料。具體的，假如我們的資料集是n維的，共有m個資料 x1,x2,xm 我們希望將這m個資料的維度從n維降到k維，希望這m個k維的資料...
資料降維PCA 學習筆記
pca降維。基於方差降維，屬於無監督學習。無需資料標籤。使方差 資料離散量 最大，變換後資料分開。更易於分類。可以對隱私資料pca，資料加密。基變換投影 內積 正交的基，兩個向量垂直 內積為0，線性無關 先將基化成各維度下的單位向量。一般把資料寫成列向量的形式，新的基寫成矩陣的形式。基 向量 基要在...
兩種降維方法原理 PCA和LDA
1 pca 主成分分析 一句話 pca將方差最大的方向作為主成分，使用主成分來表示原始資料可以去除冗餘的維度，達到降維的目的。無監督降維技術，利用正交變換把由線性相關變數表示的觀測資料轉換為少數幾個由線性無關變數表示的資料，線性無關的變數稱為主成分。pca選擇的是投影後資料方差最大的方向。因此pca...