x、y 是兩個隨機變數，x、y 的協方差 cov(x, y) 定義為：
其中：、
矩陣中的資料按行排列與按列排列求出的協方差矩陣是不同的，這裡預設資料是按行排列。即每一行是乙個observation(or sample)，那麼每一列就是乙個隨機變數。協方差對角線處的元素表示的是方差，這個關係我們記住就行了。比如目前我們從之前的兩個變數過渡成了三個變數，則我們的協方差矩陣可以寫為：
從上面我們可以清楚的看到對角線上的數值是cov(x,x)=var(x),cov(y,y)=var(y),cov(y,y)=var(z)，因此對角線處是我們的方差，有乙個函式trace()專門則用於表示提取我們矩陣當中的對角線處的元素。下面我們把用cov函式表示的形式變化為更加普世的形式也就是用aij來表示我們的每乙個協方差的數值。
協方差矩陣：
協方差矩陣的維度等於隨機變數的個數，即每乙個 observation 的維度。在某些場合前邊也會出現 1 / m，而不是 1 / (m - 1).求解得到的樣本協方差是1 / (m - 1)，總體協方差是1/m。
舉個例子，矩陣 x 按行排列：
其中：也就是將所有的方差都相乘乘起來，然後再求出方差的平均數，就得到協方差，相當於二維情況下的標準差的平方。協方差在高維度的高斯分布當中非常重要。
注意：有時候在書上或者網上會看到這樣的公式，協方差矩陣 σ：
這裡之所以會是 x * x』 是因為原始資料集 x 是按列排列的，即：
。
協方差 協方差矩陣
期望 離散型隨機變數的一切可能的取值xi與對應的概率pi xi 之積的和稱為該離散型隨機變數的數學期望 設級數絕對收斂 記為 e x 隨機變數最基本的數學特徵之一。它反映隨機變數平均取值的大小。又稱期望或均值。求法 設離散型隨機變數x的取值為 方差 方差是各個資料與平均數之差的平方的平均數。在概率論...
期望 方差 協方差 協方差矩陣
方差pearson相關係數 協方差矩陣與相關係數矩陣 我們將隨機實驗e的一切可能基本結果 或實驗過程如取法或分配法 組成的集合稱為e的樣本空間，記為s。樣本空間的元素，即e的每乙個可能的結果，稱為樣本點。這樣思考一下，如果某個資料集x xx滿足它是某個分布的隨機取樣，那麼在取樣過程中最可能出現的值是...
協方差和協方差矩陣
協方差的定義 對於一般的分布，直接代入e x 之類的就可以計算出來了，但真給你乙個具體數值的分布，要計算協方差矩陣，根據這個公式來計算，還真不容易反應過來。網上值得參考的資料也不多，這裡用乙個例子說明協方差矩陣是怎麼計算出來的吧。記住，x y是乙個列向量，它表示了每種情況下每個樣本可能出現的數。比如...