主元分析 PCA 理論分析及應用

主元分析(pca)理論分析及應用

(主要基於外文教程翻譯)

什麼是pca?

pca是principal component analysis的縮寫，中文翻譯為主元分析。它是一種對資料進行分析的技術，最重要的應用是對原有資料進行簡化。正如它的名字：主元分析，這種方法可以有效的找出資料中最「主要」的元素和結構，去除噪音和冗餘，將原有的複雜資料降維，揭示隱藏在複雜資料背後的簡單結構。它的優點是簡單，而且無引數限制，可以方便的應用與各個場合。因此應用極其廣泛，從神經科學到計算機圖形學都有它的用武之地。被譽為應用線形代數最價值的結果之一。

在以下的章節中，不僅有對pca的比較直觀的解釋，同時也配有較為深入的分析。首先將從乙個簡單的例子開始說明pca應用的場合以及想法的由來，進行乙個比較直觀的解釋；然後加入數學的嚴格推導，引入線形代數，進行問題的求解。隨後將揭示pca與svd(singularvalue decomposition)之間的聯絡以及如何將之應用於真實世界。最後將分析pca理論模型的假設條件以及針對這些條件可能進行的改進。

乙個簡單的模型

在實驗科學中我常遇到的情況是，使用大量的變數代表可能變化的因素，例如光譜、電壓、速度等等。但是由於實驗環境和觀測手段的限制，實驗資料往往變得極其的複雜、混亂和冗餘的。如何對資料進行分析，取得隱藏在資料背後的變數關係，是乙個很困難的問題。在神經科學、氣象學、海洋學等等學科實驗中，假設的變數個數可能非常之多，但是真正的影響因素以及它們之間的關係可能又是非常之簡單的。

下面的模型取自乙個物理學中的實驗。它看上去比較簡單，但足以說明問題。如圖表1所示。這是乙個理想彈簧運動規律的測定實驗。假設球是連線在乙個無質量無摩擦的彈簧之上，從平衡位置沿軸拉開一定的距離然後釋放。

對於乙個具有先驗知識的實驗者來說，這個實驗是非常容易的。球的運動只是在x軸向上發生，只需要記錄下x軸向上的運動序列並加以分析即可。但是，在真實世界中，對於第一次實驗的探索者來說（這也是實驗科學中最常遇到的一種情況），是不可能進行這樣的假設的。那麼，一般來說，必須記錄下球的三維位置。這一點可以通過在不同角度放置三個攝像機實現（如圖所示），假設以的頻率拍攝畫面，就可以得到球在空間中的運動序列。但是，由於實驗的限制，這三颱攝像機的角度可能比較任意，並不是正交的。事實上，在真實世界中也並沒有所謂的軸，每個攝像機記錄下的都是一幅二維的影象，有其自己的空間座標系，球的空間位置是由一組二維座標記錄的：。經過實驗，系統產生了幾分鐘內球的位置序列。怎樣從這些資料中得到球是沿著某個x軸運動的規律呢？怎樣將實驗資料中的冗餘變數剔除，化歸到這個潛在的x軸上呢？

這是乙個真實的實驗場景，資料的噪音是必須面對的因素。在這個實驗中噪音可能來自空氣、摩擦、攝像機的誤差以及非理想化的彈簧等等。噪音使資料變得混亂，掩蓋了變數間的真實關係。如何去除噪音是實驗者每天所要面對的巨大考驗。

上面提出的兩個問題就是pca方法的目標。pca主元分析方法是解決此類問題的乙個有力的**。下文將結合以上的例子提出解決方案，逐步敘述pca方法的思想和求解過程。

線形代數：基變換

從線形代數的角度來看，pca的目標就是使用另一組基去重新描述得到的資料空間。而新的基要能盡量揭示原有的資料間的關係。在這個例子中，沿著某軸上的運動是最重要的。這個維度即最重要的「主元」。pca的目標就是找到這樣的「主元」，最大程度的去除冗餘和噪音的干擾。

a. 標準正交基

為了引入推導，需要將上文的資料進行明確的定義。在上面描述的實驗過程中，在每乙個取樣時間點上，每個攝像機記錄了一組二維座標，綜合三颱攝像機資料，在每乙個時間點上得到的位置資料對應於乙個六維列向量。

主元分析 PCA 理論分析及應用

pca主成分分析 PCA主成分分析（中）

主成分分析PCA

PCA 主成分分析

主元分析 PCA 理論分析及應用

pca主成分分析 PCA主成分分析（中）

主成分分析PCA

PCA 主成分分析

相關推薦