在概率論中，兩個隨機變數 x 與 y 之間相互關係，大致有下列3種情況：
當 x, y 的聯合分布像上圖那樣時，我們可以看出，大致上有： x 越大 y 也越大， x 越小 y 也越小，這種情況，我們稱為「正相關」。
當x, y 的聯合分布像上圖那樣時，我們可以看出，大致上有：x 越大y 反而越小，x 越小 y 反而越大，這種情況，我們稱為「負相關」。
當x, y 的聯合分布像上圖那樣時，我們可以看出：既不是x 越大y 也越大，也不是 x 越大 y 反而越小，這種情況我們稱為「不相關」。
怎樣將這3種相關情況，用乙個簡單的數字表達出來呢？
在圖中的區域（1）中，有 x>ex ，y-ey>0 ，所以(x-ex)(y-ey)>0；
在圖中的區域（2）中，有 x0 ，所以(x-ex)(y-ey)<0；
在圖中的區域（3）中，有 x0；
在圖中的區域（4）中，有 x>ex ，y-ey<0 ，所以(x-ex)(y-ey)<0。
當x 與y 正相關時，它們的分布大部分在區域（1）和（3）中，小部分在區域（2）和（4）中，所以平均來說，有e>0 。
當 x與 y負相關時，它們的分布大部分在區域（2）和（4）中，小部分在區域（1）和（3）中，所以平均來說，有e<0 。
當 x與 y不相關時，它們在區域（1）和（3）中的分布，與在區域（2）和（4）中的分布幾乎一樣多，所以平均來說，有e=0 。
所以，我們可以定義乙個表示x, y 相互關係的數字特徵，也就是協方差
cov(x, y) = e。
當 cov(x, y)>0時，表明 x與y 正相關；
當 cov(x, y)<0時，表明x與y負相關；
當 cov(x, y)=0時，表明x與y不相關。
這就是協方差的意義。
協方差的意義
協方差的意義 度量各個維度偏離其均值的程度。協方差的值如果為正值，則說明兩者是正相關的 從協方差可以引出 相關係數 的定義 結果為負值就說明負相關的，如果為0，也是就是統計上說的 相互獨立 如果正相關，這個計算公式，每個樣本對 xi,yi 每個求和項大部分都是正數，即兩個同方向偏離各自均值，而不同時...
協方差 協方差矩陣
期望 離散型隨機變數的一切可能的取值xi與對應的概率pi xi 之積的和稱為該離散型隨機變數的數學期望 設級數絕對收斂 記為 e x 隨機變數最基本的數學特徵之一。它反映隨機變數平均取值的大小。又稱期望或均值。求法 設離散型隨機變數x的取值為 方差 方差是各個資料與平均數之差的平方的平均數。在概率論...
協方差矩陣的例項與意義
在機器學習中經常需要計算協方差矩陣，本科時沒學過這個概念，一直對此非常頭疼。現在試圖通過例項的計算 圖形化的表示來梳理一下什麼是協方差矩陣。問題 有一組資料 如下 分別為二維向量，這四個資料對應的協方差矩陣是多少？解答 由於資料是二維的，所以協方差矩陣是乙個2 2的矩陣，矩陣的每個元素為 元素 i,...