協方差矩陣指的是高維變數的每一維之間的相關性，或稱為方差和協方差。
標準化的表示乙個向量，是列向量，比如x=[1 2 3 4]^t,我們說這個變數是4維的。通過感測器或資料處理，得到n個樣本，這些樣本組成乙個樣本矩陣：
協方差矩陣不是無緣無故求的，一般是從推導過程中提取出來的，或者是用於提取主成分。經典的pca的一種計算方法就是先計算樣本矩陣的協方差矩陣，然後對協方差矩陣進行特徵值分解（這裡是特徵值分解，不是非奇異值分解，因為協方差矩陣是對稱非負定的），選取最大的p個特徵值對應的特徵向量組成投影矩陣，然後用投影矩陣的轉置左乘資料向量即可實現投影，或稱為降維。
另外，很多時候協方差矩陣的表達形式是逐步求和，而不是我們手工計算的時候使用的為每乙個協方差矩陣的元素計算方差，詳細說明可參照我的另一篇部落格：
協方差 協方差矩陣
期望 離散型隨機變數的一切可能的取值xi與對應的概率pi xi 之積的和稱為該離散型隨機變數的數學期望 設級數絕對收斂 記為 e x 隨機變數最基本的數學特徵之一。它反映隨機變數平均取值的大小。又稱期望或均值。求法 設離散型隨機變數x的取值為 方差 方差是各個資料與平均數之差的平方的平均數。在概率論...
期望 方差 協方差 協方差矩陣
方差pearson相關係數 協方差矩陣與相關係數矩陣 我們將隨機實驗e的一切可能基本結果 或實驗過程如取法或分配法 組成的集合稱為e的樣本空間，記為s。樣本空間的元素，即e的每乙個可能的結果，稱為樣本點。這樣思考一下，如果某個資料集x xx滿足它是某個分布的隨機取樣，那麼在取樣過程中最可能出現的值是...
協方差和協方差矩陣
協方差的定義 對於一般的分布，直接代入e x 之類的就可以計算出來了，但真給你乙個具體數值的分布，要計算協方差矩陣，根據這個公式來計算，還真不容易反應過來。網上值得參考的資料也不多，這裡用乙個例子說明協方差矩陣是怎麼計算出來的吧。記住，x y是乙個列向量，它表示了每種情況下每個樣本可能出現的數。比如...