在進行影象的特徵提取的過程中，提取的特徵維數太多經常會導致特徵匹配時過於複雜，消耗系統資源，不得不採用特徵降維的方法。
所謂特徵降維，即採用乙個低緯度的特徵來表示高緯度。
將高緯度的特徵經過某個函式對映至低緯度作為新的特徵。
pca和lda區別：
pca是從特徵的角度協方差角度： 求出協方差矩陣的特徵值和特徵向量，然後將特徵向量按特徵值的大小排序取出前k行組成矩陣p（這個p就是我們對角化協方差矩陣的時所使用的p, 具體的可以看看矩陣對角化的過程）， 這個p就是一組正交變化基， 然後將原始的矩陣x，左乘p，也就是將x變換到p組成的正交基中，然後px＝y就是降維後的矩陣。
而lda則是在已知樣本的類標註， 希望投影到新的基後使得不同的類別之間的資料點的距離更大，同一類別的資料點更緊湊。
pca原理
在pca中，資料從原來的座標系轉換到新的座標系，新座標系的選擇是由資料本身決定的。第乙個座標軸的選擇是原始資料中方差最大的方向，從資料角度上來講，這其實就是最重要的方向，即下圖總直線b的方向。第二個座標軸則是第乙個的垂直或者說正交（orthogonal）方向，即下圖中直線c的方向。該過程一直重複，重複的次數為原始資料中特徵的數目。而這些方向所表示出的資料特徵就被稱為「主成分」。
那怎麼來求出這些主成分呢？由線性代數的知識可以知道，通過資料集的協方差矩陣及其特徵值分析，我們就可以求得這些主成分的值。一旦得到協方差矩陣的特徵向量，就可以保留最大的n個值。然後可以通過把資料集乘上這n個特徵向量轉換到新的空間。
pca主成分分析 PCA主成分分析（中）
矩陣 matrix，很容易讓人們想到那部著名的科幻電影 駭客帝國 事實上，我們又何嘗不是真的生活在matrix中。機器學習處理的大多數資料，都是以 矩陣 形式儲存的。矩陣是向量的組合，而乙個向量代表一組資料，資料又是多維度的。比如每個人的都具有身高 體重 長相 性情等多個維度的資訊資料，而這些多維度...
主成分分析PCA
主要參考這篇文章 個人總結 pca是一種對取樣資料提取主要成分，從而達到降維的目的。相比於上篇文章介紹到的svd降維不同，svd降維是指減少資料的儲存空間，資料的實際資訊沒有缺少。個人感覺pca更類似與svd的去噪的過程。pca求解過程中，涉及到了svd的使用。針對資料集d 假設di 的維度為 w ...
主成分分析PCA
我們所說的向量其實是向量座標和向量空間的基構成的線性組合。要準確的描述向量，首先需要確定向量空間的一組基，然後 在通常的二維座標系中，我們選中基為 1 0 t 和 0,1 t 那麼對於向量 3 2 其實它是3 1,0 t 2 0,1 t 通常基為列向量，在進行座標變換時，通常將基作為行向量，與原空間...