源自知乎的乙個答案，網上很多關於pca的文章，不過很多都只講到了如何理解方差的投影，卻很少有講到為什麼特徵向量就是投影方向。本文從形象角度談一談，因為沒有證明，所以不會嚴謹，但是應該能夠幫助形象理解pca背後的原理。
從定義來理解特徵向量的話，就是經過乙個矩陣變換後，空間沿著特徵向量的方向上相當於只發生了縮放，比如我們考慮下面的矩陣：
\[\begin
1.5 & 0.5\\
0.5 & 1.0
\end
\]求這個變換的特徵向量和特徵值，分別是：\(u=\begin
0.85 & -0.53\\
0.53 & 0.85
\end\)（列向量）和1.81，0.69
用乙個形象的例子來說明一下幾何意義，我們考慮下面笑臉圖案：
為方便演示笑臉圖案在0,0和1,1圍起來的單位正方形裡，同時也用兩個箭頭標出來了特徵向量的方向。經過\(\begin
1.5 & 0.5\\
0.5 & 1.0
\end\)變換，也就是用這個圖案中的每個點的座標和這個矩陣做乘法，得到下面圖案：
可以看到就是沿著兩個正交的，特徵向量的方向進行了縮放，這就是特徵向量的一般的幾何理解。
這個理解雖然清晰，但是並沒有特別形象。我們也可以分解一下，從旋轉和沿軸縮放的角度理解，分成三步：
\end$，矩陣分別沿著橫軸和縱軸進行縮放：
所以，從旋轉和縮放的角度，乙個矩陣變換就是，旋轉-->沿座標軸縮放-->轉回來，的三步操作，表達如下：
\[t=u \sigma u ^
\]多提一句，這裡給的是個(半)正定矩陣的例子，對於不鎮定的矩陣，也是可以分解為，旋轉-->沿座標軸縮放-->旋轉，的三步的，只不過最後一步和第一步的兩個旋轉不是轉回去的關係了，表達如下：
\[t=u \sigma v^
\]這個就是svd分解，就不詳細說了。另外，這個例子是二維的，高維類似，但是形象理解需要腦補。
一句話概括pca的話就是找到方差在該方向上投影最大的那些方向，比如下邊這個圖是用\(\begin
1 & 0.5\\
0.5 & 1
\end\)作為些協方差矩陣產生的高斯分布樣本：
大致用個橢圓圈出來分布，相關性最強的（0.707，0.707）方向就是投影之後方差最大的方向。接下來我們不嘗試嚴格證明，而是從旋轉和縮放的角度形象理解一下，我們可以考慮把這個分布也旋轉一下，讓長軸在x軸上，短軸在y軸上，變成如下：
然後再沿著x軸和y軸，除以標準差，縮放成標準差為1的單位分布：
注意，在這個除以標準差的過程中，標準差最大的軸，就對應著原空間中，樣本投影後方差最大的方向。接下來，假設這個分布中的樣本為\(x_u\)，則我們可以把一開始的樣本表示為：
\[x=ulx_u
\]用這麼彆扭的表示方式主要是為了接下來推公式方便，所以接下來推個簡單的公式：
協方差矩陣，用s表示，則有
\[s_=e\left[ (x_i-\mu _i)(x_j-\mu _j) \right]
\]因為這個分布裡兩個維度的均值都是0，所以有
\[s_=e\left[ x_ix_j \right]
\]所以
\[s=\frac xx^t
\]其中n是樣本數，根據前面的\(x=ulx_u\)，進一步展開這個公式：
\[s=\frac xx^t=\frac(ulx_u)(ulx_u)^t=ul(\fracx_u^t)l^tu^t
\]因為\(x_u\)是個單位方差的且無相關性的樣本，所以
\[\fracx_u^t=i
\]另外l是個對角矩陣所以有
\[s=ull^tu^t=ul^2u^t=u\sigma u^t
\]這個公式上一部分已經說過了。所以對角線上的元素對應的就是方差的大小，而縮放倍數就是標準差的大小，也就是特徵值的開根號，而u就是要沿著縮放的方向，也就是問題中投影的方向，正是特徵向量。
PCA主成分分析 理解
啊作為乙個沒學過線代的人 當初寫eigenface的時候看pca看了非常之久 這裡盡量簡單的描述這個概念 啊全是隨手畫的圖 需要知道的 矩陣乘法的本質是座標變換。主要通過二維到一維的方式來通俗的描述一下pca。定義什麼可以參考維基之類的。看到下面這幅圖上有一堆的二維點。那我們要找乙個方式把他轉換到一...
pca主成分分析 PCA主成分分析（中）
矩陣 matrix，很容易讓人們想到那部著名的科幻電影 駭客帝國 事實上，我們又何嘗不是真的生活在matrix中。機器學習處理的大多數資料，都是以 矩陣 形式儲存的。矩陣是向量的組合，而乙個向量代表一組資料，資料又是多維度的。比如每個人的都具有身高 體重 長相 性情等多個維度的資訊資料，而這些多維度...
主成分分析PCA
主要參考這篇文章 個人總結 pca是一種對取樣資料提取主要成分，從而達到降維的目的。相比於上篇文章介紹到的svd降維不同，svd降維是指減少資料的儲存空間，資料的實際資訊沒有缺少。個人感覺pca更類似與svd的去噪的過程。pca求解過程中，涉及到了svd的使用。針對資料集d 假設di 的維度為 w ...