pca是一種經典的降維方法，基礎的pca是一種線性的降維，本質是線性座標變換，經典的pca目標優化解釋思路有兩種：一種是單個維度上方差最大化，另一種是採用最小二乘線性回歸的思想最小化樣本點到超平面的距離。
這裡普及下協方差，方差的定義。協方差刻畫的是資料（兩個變數）的相關性。資料的方差指的是：資料樣本偏離平均值的程度，也就是樣本的離散程度，方差越大，偏離平均值越大，資料越離散，資料的熵即不確定性越大，方差就是協方差的一種特殊情況（當兩個變數為同乙個變數時）。方差最大化，即單個特徵或屬性維度上熵最大化（思考：如果某個維度上熵很小，即資料在該維度上所有屬性值都保持一致，則意味著該維度特徵包含資料的資訊很少，無利用價值，因此需要需要屬性特徵熵的最大化，盡可能地挖掘資料資訊，這樣pca才能通過降維去除那些冗餘特徵列）。
根據資料最大可分性，要使條件滿足，則只需資料在新的空間投影的方差最大化，即只需ut
σuu tσ
u最大化即可，其中σ=
xxt σ=x
xt
，為協方差矩陣。令λ=
utσu
λ =u
tσ
u，則兩邊同時乘以
u u
則有λu
=uut
σu' role="presentation" style="position: relative;">λu=
uutς
uλu=
uutς
u，若對
u u
進行正交化，則得λu
=σu' role="presentation" style="position: relative;">λu=
σuλu
=σu，即
u u
取協方差矩陣的特徵向量，
λ' role="presentation" style="position: relative;">λ
λ取協方差矩陣的特徵值。因此pca降維的結果即保留那些協方差矩陣中特徵值比較大的特徵向量組成的矩陣。已知|
v|| v|
個樣本點的資料，假使我們用k≪
|v| k≪|
v|
的維度空間擬合資料樣本點，尋找資料在
k k
維空間擬合的超平面。設
u' role="presentation" style="position: relative;">u
u為超平面空間所在的基，則z=
utx z=u
tx
，其中z z
為樣本x' role="presentation" style="position: relative;">xx在
k k
維空間的對映。假設樣本點為m，原屬性維度為t，根據最小二乘法擬合曲線的原則，超平面滿足： ∑i
=1m|
|∑j=
1kzi
ju−x
i||2
∝utu
' role="presentation">∑i=
1m||
∑j=1
kzij
u−xi
||2∝
utu∑
i=1m
||∑j
=1kz
iju−
xi||
2∝ut
u其中∑m
i=1x
tixi
∑ i=
1mxi
tx
i即為資料的協方差，類似與上述問題的解題步驟。給出以下資料集
d d
，其中x∈
rmxn
x ∈r
mx
n，即原始輸出da
taad
just
(mxn
) dat
aadj
ust(
mxn)
. 第一步：分別求xi
¯¯¯¯
¯ xi¯
，對於所有樣例減去對應的xi
¯¯¯¯
¯ xi¯
進行中心化。根據σ2
=1m∑
i(x(
i)j)
2 σ2=
1m∑i
(xj(
i))2
，令x(
i)j=
x(i)
j/σ xj(
i)=x
j(i)
/σ
，進行標準化。
第二步：求協方差矩陣σ=
1m∑m
i=1x
xtσ =1
m∑i=
1mxx
t；
第三步：求協方差矩陣對應的特徵值和特徵向量；
第四步：將特徵值按照從小到大的順序排列，選擇其中前
k k
個較大值對應的特徵向量並組成基矩陣ei
genv
ecto
r(nx
k)' role="presentation" style="position: relative;">eig
enve
ctor
(nxk
)eig
enve
ctor
(nxk
)第五步：求最終降維後的矩陣：fi
nald
ata(
mxk)
=dat
aadj
ust(
mxn)
∗eig
enve
ctor
(nxk
) fin
alda
ta(m
xk)=
data
adju
st(m
xn)∗
eige
nvec
tor(
nxk)
pca是一種無監督的方法，它的目的在於去除資料中冗餘的特徵，降低資料維度，讓投影在子空間的各個資料維度上方差盡可能地大。優點：無需人工的設定訓練引數。缺點：無法融入已知資料的監督資訊。
PCA降維原理
在之前的介紹中，一幅影象只能表示乙個物件。那麼對於w x h的灰度影象，只能表示為w x h位的向量，那麼乙個有100 100的影象就需要10000維的向量空間。對於一幅人臉而言，是否所有維的資料都是有用的呢？在矩陣論當中我們知道，矩陣可以近似的表示為乙個特徵值與特徵向量的乘積。根據這個原理，如果我...
PCA降維原理和作用
降維的作用 資料在低維下更容易處理 更容易使用 相關特徵，特別是重要特徵更能在資料中明確的顯示出來 如果只有兩維或者三維的話，更便於視覺化展示 去除資料雜訊 降低演算法開銷 降維通俗點的解釋 一些高維度的資料，比如 交易資料，為便於解釋降維作用，我們在這假設有下單數，付款數，商品類別，售價四個維度，...
PCA 1 降維原理
上圖為含有兩個特徵的樣本空間，資料的維度為2，可以忽視乙個不明顯的特徵，保留乙個相對差距明顯的特徵進行降維 顯然選擇特徵1效果好一點 我們也可以選擇一條更適合的直線 方差最大 把所有的點對映到這個直線上，來達到降維的目的 方差定義 var x frac sum x i bar 2 第一步 將所有樣本...