1、pca(主成分分析)
一句話：pca將方差最大的方向作為主成分，使用主成分來表示原始資料可以去除冗餘的維度，達到降維的目的。
無監督降維技術，利用正交變換把由線性相關變數表示的觀測資料轉換為少數幾個由線性無關變數表示的資料，線性無關的變數稱為主成分。pca選擇的是投影後資料方差最大的方向。因此pca假設方差越大，代表的資訊量越大。
另外，pca假設資料各主特徵是分布在正交方向上，如果在非正交方向上存在幾個方差較大的方向，pca的效果就大打折扣了。
pca的基本數學原理可參考：
2、lda(線性判別分）
有監督的，選擇的是投影後類內方差小、類間方差大的方向。用到了類別標籤資訊，為了找到資料中具有判別性的維度，使原始資料在這些方向上投影後，不同類別盡可能區分開來。
總結：lda演算法既可以用來降維，又可以用來分類，但主要是降維。
優點：1、有監督，故可以使用先驗知識經驗。
2、依賴樣本均值而不是方差，演算法較優。
缺點：1、lda不適合對非高斯分布樣本進行降維，pca同樣
2、過擬合現象
3、使用均值，效果不好。
例如：語音設別中，如果想從音訊中提取某人的語音頻號，可以使用pca進行降維，來過濾掉一些固定頻率（方差相對較小）的背景雜訊。但如果需要從這段音訊中識別出聲音屬於哪個人的，就需要使用lda對資料進行降維，使每個人的語音頻號具有區分性。
PCA降維原理和作用
降維的作用 資料在低維下更容易處理 更容易使用 相關特徵，特別是重要特徵更能在資料中明確的顯示出來 如果只有兩維或者三維的話，更便於視覺化展示 去除資料雜訊 降低演算法開銷 降維通俗點的解釋 一些高維度的資料，比如 交易資料，為便於解釋降維作用，我們在這假設有下單數，付款數，商品類別，售價四個維度，...
三種方法實現PCA降維
主成分分析，即principal component analysis pca 是多元統計中的重要內容，也廣泛應用於機器學習和其它領域。它的主要作用是對高維資料進行降維。pca把原先的n個特徵用數目更少的k個特徵取代，新特徵是舊特徵的線性組合，這些線性組合最大化樣本方差，盡量使新的k個特徵互不相關。...
LDA與PCA都是常用的降維方法，二者的區別
分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！從主觀的理解上，主成分分析到底是什麼？它其實是對資料在高維空間下的乙個投影轉換，通過一定的投影規則將原來從乙個角度看到的多個維度對映成較少的維度。到底什麼是對映，下面的圖就可以很好地解釋這個問題 正常角度看是兩個半橢圓形分布的資料集，但經過旋轉 對...