上圖為含有兩個特徵的樣本空間，資料的維度為2，可以忽視乙個不明顯的特徵，保留乙個相對差距明顯的特徵進行降維
顯然選擇特徵1效果好一點
我們也可以選擇一條更適合的直線（方差最大），把所有的點對映到這個直線上，來達到降維的目的
方差定義：\(var(x) = \frac\sum(x_i - \bar)^2\).第一步：將所有樣本的均值歸0（demean）
假設某軸\(w = (w1,w2)\),使得所有的樣本對映到\(w\)上，有：
\[var(x_p) = \frac\sum_^\left \| x^i_p \right \|^2最大
\]其中\(x^i_p\)代表對映在此軸的樣本
根據向量點乘的定義，又因為\(w\)是方向向量，膜為1 ：
所以： $$\left | x^i_p \right | = x^i \cdot w$$
目標：求\(w\)，使得：
\[var(x_p) = \frac\sum_^（x^i \cdot w）^2 最大
\]乙個目標函式的最優問題，採用梯度上公升法
PCA降維原理
在之前的介紹中，一幅影象只能表示乙個物件。那麼對於w x h的灰度影象，只能表示為w x h位的向量，那麼乙個有100 100的影象就需要10000維的向量空間。對於一幅人臉而言，是否所有維的資料都是有用的呢？在矩陣論當中我們知道，矩陣可以近似的表示為乙個特徵值與特徵向量的乘積。根據這個原理，如果我...
PCA降維原理和作用
降維的作用 資料在低維下更容易處理 更容易使用 相關特徵，特別是重要特徵更能在資料中明確的顯示出來 如果只有兩維或者三維的話，更便於視覺化展示 去除資料雜訊 降低演算法開銷 降維通俗點的解釋 一些高維度的資料，比如 交易資料，為便於解釋降維作用，我們在這假設有下單數，付款數，商品類別，售價四個維度，...
機器學習之PCA 1
連續潛變數模型 經常有一些資料的未知的潛在的原因。到目前為止,我們已經看了模型與離散的潛變數,如混合高斯模型的。有時,依照我們觀察到的資料是由連續因素控制的去思考更合適。動機 對於許多資料集,資料點處於接近比原來的資料空間維數低得多的複本 manifold 訓練連續潛變數模型通常被稱為降維,因為通常...