參考： lle原理總結
pca 降維的缺陷：高維空間各個樣本之間存在一些線性關係，降維之後並沒有保留這些關係。比如，在高維空間中，其最短路徑並不是三維空間中的兩點之間直線最短，而是如下圖的曲面距離，而我們降維後，就變成了投影距離。
因此，我們希望能夠保留原空間的距離（只是乙個例子），如下圖，是將原曲面展開，而不是直接投影到平面中。
lle 演算法：
與 pca 不同的是，lle 保留了高維空間的區域性線性關係。
lle在降維之前，先訓練出每個樣本與其最近的k個樣本的線性關係——weights，再把該線性關係套用在降維空間後的每個樣本。
參考：pca與kernel pca
【關於降維/冗餘】
如何理解冗餘？
如何用數學來表示這種思想？
方差/協方差最大化，即投影後的點之間方差最大。方差和協方差的關係：當資料點歸一化和中心化後，二者最大化的方法是等價的，一般直接求協方差的最大化。具體參考鏈結的公式推導。
【kernel pca】
假設k是已知的。
與上面的一樣，我們同樣要求協方差的最大化，
\[\begin
c&=\sum_^\phi(x_i)\phi(x_i^t)\\
&=[\phi(x_1),...,\phi(x_n)]\begin\phi(x_1)^t\\...\\\phi(x_n)^t\end\\
&=x^tx\\
\end
\]但是，φ是未知的，或者難以計算的，因此我們設法借助核函式來求解.
\[\begin
k&=xx^t\\
&=\begin\phi(x_1)^t\\...\\\phi(x_n)^t\end[\phi(x_1),...,\phi(x_n)]\\
&=\begin\phi(x_1)^t\phi(x_1) &... &\phi(x_1)^t\phi(x_n)\\
...&...&...\\
\phi(x_n)^t\phi(x_1)&...&\phi(x_n)^t\phi(x_n)\end\\
&=\begink(x_1,x_1) &... &k(x_1,x_n)\\
...&...&...\\
k(x_n,x_1)&...&k(x_n,x_n)\end
\end
\]【注意】這裡的k=xxt和要求的協方差xtx並不相等，但二者肯定存在某種關係：
\[\begin
xx^tu&=\lambda u&u為單位化的特徵向量\\
x^tx(x^tu)&=\lambda (x^tu) &x^tu為特徵向量，但不一定是單位化的\\
\end
\]因此，要對特徵向量x^tu單位化：
\[v=\frac=\frac}=\frac}=\frac}\\
其中，u^tu=1，v可以看作乙個方向軸/維度\\
記\alpha=\frac}，為乙個列向量v，所以：v=\sum_^\alpha_i\phi(x_i)
\]但是，x^t仍然是未知的，所以v也是未知的，即高維度的特徵空間的方向軸未知，但是，我們可以直接求φ(xj)在特徵空間v方向上的投影（這才是我們最終目的）：
\[\begin
v^t\phi(x_j)&=\frac}\\
&=\frac}\begin\phi(x_1)^t\\...\\\phi(x_n)^t\end\phi(x_j)\\
&=\frac}\begink(x_1,x_j)\\...\\k(x_n,x_j)\end
\end
\]因此，我們只要求出核函式的特徵值及其對應的單位特徵向量，就可以得到高維空間的投影。
機器學習 PCA
介紹 pca是一種無監督學習的降維技術 思想1.投影後樣本越分散，保留的資訊越多 2.pca的主要思想是將n維特徵對映到k維上，這k維是全新的正交特徵也被稱為主成分，是在原有n維特徵的基礎上重新構造出來的k維特徵 做法1.將所有的樣本點向直線w投影 2.目標函式 讓投影後樣本的方差極大 第一步 x減...
機器學習 LDA與PCA演算法
linear discriminant analysis 用途 資料預處理中的降維，分類任務 歷史 ronald a.fisher在1936年提出了線性判別方法 線性判別分析 lda 目標 lda關心的是能夠最大化類間區分度的座標軸成分 將特徵空間 資料集中的多維樣本 投影到乙個維度更小的 k 維子...
sklearn機器學習 PCA
pca使用的資訊量衡量指標，就是樣本方差，又稱可解釋性方差，方差越大，特徵所帶的資訊量越多 原理推導 class sklearn decomposition.pca n components none,copy true whiten false svd solver auto tol 0.0,it...