昨天看llelocally linearly embedding時，看到目標函式min
y∑in
∥yi−
∑j=1
kwij
yj∥2
min_y\sum_i^n\vert^k w_ y_j}\vert^2
miny∑
in∥
yi−
∑j=1
kwi
jyj
∥2 .這樣就沒有唯一解，所以要對y
yy進行限制。
對y
yy進行平移，不影響目標函式，所以可以把y
yy的均值固定到原點：∑i=
1nyi
=0
\sum_^ny_i=0
∑i=1n
yi=
0，這個好理解。
第二個限制條件是說對y
yy進行旋轉也不影響目標函式，所以為了限制y
yy的旋轉，可以限制協方差矩陣為單位矩陣：1ny
yt=i
d∗
d\fracyy^t=i_
n1yyt
=id∗
d, where y=[
y1…y
n]
.y=[y_1 \dots y_n].
y=[y1
…yn
].這裡我就不理解了。
協方差矩陣和旋轉有什麼關係？協方差矩陣旋轉矩陣
很幸運，我找到了答案：
英文版中文翻譯版
（順便一提這個人好厲害啊，晦澀的數學可以用通俗的語言表達深刻的理解）
被觀察資料的協方差矩陣，直接與針對白（非相關）資料的線性變換有關。該線性變換完全由特徵向量和特徵值定義。特徵向量表示了矩陣的旋轉，特徵值對應於每個維度上縮放因子的平方。
具體解釋協方差與協方差矩陣
協方差的定義 對於一般的分布，直接代入 e x 之類的就能夠計算出來了，但真給你乙個詳細數值的分布，要計算協方差矩陣，依據這個公式來計算，還真不easy反應過來。網上值得參考的資料也不多，這裡用乙個樣例說明協方差矩陣是怎麼計算出來的吧。記住，x y 是乙個列向量，它表示了每種情況下每乙個樣本可能出現...
協方差 協方差矩陣
期望 離散型隨機變數的一切可能的取值xi與對應的概率pi xi 之積的和稱為該離散型隨機變數的數學期望 設級數絕對收斂 記為 e x 隨機變數最基本的數學特徵之一。它反映隨機變數平均取值的大小。又稱期望或均值。求法 設離散型隨機變數x的取值為 方差 方差是各個資料與平均數之差的平方的平均數。在概率論...
期望 方差 協方差 協方差矩陣
方差pearson相關係數 協方差矩陣與相關係數矩陣 我們將隨機實驗e的一切可能基本結果 或實驗過程如取法或分配法 組成的集合稱為e的樣本空間，記為s。樣本空間的元素，即e的每乙個可能的結果，稱為樣本點。這樣思考一下，如果某個資料集x xx滿足它是某個分布的隨機取樣，那麼在取樣過程中最可能出現的值是...