啊作為乙個沒學過線代的人……當初寫eigenface的時候看pca看了非常之久……需要知道的：這裡盡量簡單的描述這個概念
啊全是隨手畫的圖
矩陣乘法的本質是座標變換。
主要通過二維到一維的方式來通俗的描述一下pca。定義什麼可以參考維基之類的。
看到下面這幅圖上有一堆的二維點。
那我們要找乙個方式把他轉換到一維的。
當然如果考慮非線性就很複雜了……這裡就考慮線性的。
提供ab兩種降維方式。實心的點是他們降到一維之後的座標。
或許這個圖看起來可以說是a這種降維【我無數次打出來姜維小哥哥】比較合理，直觀上來講
主成分分析中，這種直觀的判斷方式，被確定為投影之後方差最大
（後來看資料發現兩種定義都有）
而經過求解，這個向量正好對應協方差矩陣最大特徵值對應的特徵向量。（證明放在最後）
那麼來乙個直觀一點的方式……【這裡的一些符號定義和下面證明裡一樣】
如果求出的兩個特徵向量分別為【markdown公式啥時候那麼醜了……預覽不是這樣的不是！】a1
=⎡⎣2
√22√
2⎤⎦ a1=
[222
2]a2=⎡⎣2√
2−2√
2⎤⎦ a2=
[22−
22]那麼降到特徵空間之後得到的值為 ⎡⎣
2√22
√22√
2−2√
2⎤⎦[
12]=
⎡⎣32
√2−2
√2⎤⎦
[ 22
2222
−22]
[12]
=[32
2−22
]如果不做什麼的話是可以正常還原的……⎡⎣
2√22
√22√
2−2√
2⎤⎦⎡
⎣32√
2−2√
2⎤⎦=
[12]
[ 22
2222
−22]
[322
−22]
=[12
]但是需要降維也就是認為 ⎡⎣
32√2
−2√2
⎤⎦[ 32
2−22
]可以省去特徵根比較小的點。這些點我們認為體現了更多的「共性」而不是「特性」。
這樣還原結果如下【0表示這個維度被省去】 ⎡⎣
2√22
√22√
2−2√
2⎤⎦[
32√2
0]=[
3232
] [22
2222
−22]
[322
0]=[
3232
]可以看到有一定的失真……但是也可以認為還保留著基本的一些特徵【廢話】
a 不會怎麼樣……就，你重構出來可能還是乙個臉……失真比較大
就相當於，你提取的特徵都是於臉有關的，雖然輸入的不是臉但是他依然會提取其中代表人臉的特徵……這樣
失真差不多和上圖那個q點一樣大（比劃）因為a不是由他提取出的特徵
可以參考一下這個……
直觀點理解就是，比如在這個二維空間中只有乙個點，那麼肯定只需要乙個特徵向量就可以表示它。
如上圖，不管p在什麼位置上，肯定可以只用a乙個特徵向量來表示，它在b上的值肯定是0.因此，我們可以不關心b的這個向量，而只求出a這個向量。
然後這就涉及某些線代的運算了……
我覺得pca只能保證提取的是一維向量特徵的時候，結果是最好的……而不一定能保證提取k維特徵的時候最好……主成分分析法的證明過程可以看出，他能保證對於取得的特徵根最大的值，一定是方差最大的，而缺少對於提取k維特徵是最好的定義。畢竟這樣提取的結果也包括方差最小的（特徵根最小）。
來自zju潘綱老師課件// 後來看到請勿上傳外網還是算惹
這個markdown公式長這樣毫無重新輸一遍的熱情……
然後這個鏈結會全一點 把兩種定義都證了
pca主成分分析 PCA主成分分析（中）
矩陣 matrix，很容易讓人們想到那部著名的科幻電影 駭客帝國 事實上，我們又何嘗不是真的生活在matrix中。機器學習處理的大多數資料，都是以 矩陣 形式儲存的。矩陣是向量的組合，而乙個向量代表一組資料，資料又是多維度的。比如每個人的都具有身高 體重 長相 性情等多個維度的資訊資料，而這些多維度...
主成分分析PCA
主要參考這篇文章 個人總結 pca是一種對取樣資料提取主要成分，從而達到降維的目的。相比於上篇文章介紹到的svd降維不同，svd降維是指減少資料的儲存空間，資料的實際資訊沒有缺少。個人感覺pca更類似與svd的去噪的過程。pca求解過程中，涉及到了svd的使用。針對資料集d 假設di 的維度為 w ...
PCA 主成分分析
在進行影象的特徵提取的過程中，提取的特徵維數太多經常會導致特徵匹配時過於複雜，消耗系統資源，不得不採用特徵降維的方法。所謂特徵降維，即採用乙個低緯度的特徵來表示高緯度。將高緯度的特徵經過某個函式對映至低緯度作為新的特徵。pca和lda區別 pca是從特徵的角度協方差角度 求出協方差矩陣的特徵值和特徵...