對於乙個訓練集，100個樣本，feature是10維，那麼它可以建立乙個100*10的矩陣，作為樣本。求這個樣本的協方差矩陣，得到乙個10*10的協方差矩陣，然後求出這個協方差矩陣的特徵值和特徵向量，應該有10個特徵值和特徵向量，我們根據特徵值的大小，取前四個特徵值所對應的特徵向量，構成乙個10*4的矩陣，這個矩陣就是我們要求的特徵矩陣，100*10的樣本矩陣乘以這個10*4的特徵矩陣，就得到了乙個100*4的新的降維之後的樣本矩陣，每個樣本的維數下降了。
當給定乙個測試的feature集之後，比如1*10維的feature，乘以上面得到的10*4的特徵矩陣，便可以得到乙個1*4的feature，用這個feature去分類。
所以做pca實際上是求得這個投影矩陣，用高維的特徵乘以這個投影矩陣，便可以將高維特徵的維數下降到指定的維數。
pca主成分分析 PCA主成分分析（中）
矩陣 matrix，很容易讓人們想到那部著名的科幻電影 駭客帝國 事實上，我們又何嘗不是真的生活在matrix中。機器學習處理的大多數資料，都是以 矩陣 形式儲存的。矩陣是向量的組合，而乙個向量代表一組資料，資料又是多維度的。比如每個人的都具有身高 體重 長相 性情等多個維度的資訊資料，而這些多維度...
主成分分析PCA
主要參考這篇文章 個人總結 pca是一種對取樣資料提取主要成分，從而達到降維的目的。相比於上篇文章介紹到的svd降維不同，svd降維是指減少資料的儲存空間，資料的實際資訊沒有缺少。個人感覺pca更類似與svd的去噪的過程。pca求解過程中，涉及到了svd的使用。針對資料集d 假設di 的維度為 w ...
PCA 主成分分析
在進行影象的特徵提取的過程中，提取的特徵維數太多經常會導致特徵匹配時過於複雜，消耗系統資源，不得不採用特徵降維的方法。所謂特徵降維，即採用乙個低緯度的特徵來表示高緯度。將高緯度的特徵經過某個函式對映至低緯度作為新的特徵。pca和lda區別 pca是從特徵的角度協方差角度 求出協方差矩陣的特徵值和特徵...