協方差的意義
度量各個維度偏離其均值的程度。協方差的值如果為正值，則說明兩者是正相關的(從協方差可以引出「相關係數」的定義)，結果為負值就說明負相關的，如果為0，也是就是統計上說的「相互獨立」。
如果正相關，這個計算公式，每個樣本對（xi, yi）, 每個求和項大部分都是正數，即兩個同方向偏離各自均值，而不同時偏離的也有，但是少，這樣當樣本多時，總和結果為正。下面這個圖就很直觀。
在概率論中，兩個隨機變數 x 與 y 之間相互關係，大致有下列3種情況：
當x, y 的聯合分布像上圖那樣時，我們可以看出：既不是x 越大y 也越大，也不是 x 越大 y 反而越小，這種情況我們稱為「不相關」。
怎樣將這3種相關情況，用乙個簡單的數字表達出來呢？
在圖中的區域（1）中，有 x>ex ，y-ey>0 ，所以(x-ex)(y-ey)>0；
在圖中的區域（2）中，有 x0 ，所以(x-ex)(y-ey)<0；
在圖中的區域（3）中，有 x0；
在圖中的區域（4）中，有 x>ex ，y-ey<0 ，所以(x-ex)(y-ey)<0。
當x 與y 正相關時，它們的（聯合）分布大部分在區域（1）和（3）中，小部分在區域（2）和（4）中，所以平均來說，有e(x-ex)(y-ey)>0 。(可以從一維 x~n(μ,σ)的大部分的分布（-3σ-3σ）99.7%的區間取值來理解，當符合條件的x和y區域都在這（1）（3）區間，x-ex和y-ey的數值同大於0和小於0的居多，其乘積大於0（是乙個三維立體型吧，會根據概率密度p(x)來決定該區域數值，），且其對應數值相乘(x-ex)(y-ey)越大偏離越大)
當 x與 y負相關時，它們的分布大部分在區域（2）和（4）中，小部分在區域（1）和（3）中，所以平均來說，有(x-ex)(y-ey)<0 。
當 x與 y不相關時，它們在區域（1）和（3）中的分布，與在區域（2）和（4）中的分布幾乎一樣多，所以平均來說，有(x-ex)(y-ey)=0 。
所以，我們可以定義乙個表示x, y 相互關係的數字特徵，也就是協方差
cov(x, y) = e[(x-ex)(y-ey)]
當 cov(x, y)>0時，表明 x與y 正相關；
當 cov(x, y)<0時，表明x與y負相關；
當 cov(x, y)=0時，表明x與y不相關。
這就是協方差的意義。
另外補充：
求特徵協方差矩陣，如果資料是3維，那麼協方差矩陣是
這裡只有x和y，求解得
對角線上分別是x和y的方差，非對角線上是協方差。協方差大於0表示x和y若有乙個增，另乙個也增；小於0表示乙個增，乙個減；協方差為0時，兩者獨立。協方差絕對值越大，兩者對彼此的影響越大，反之越小。
協方差的意義
在概率論中，兩個隨機變數 x 與 y 之間相互關係，大致有下列3種情況 當 x,y 的聯合分布像上圖那樣時，我們可以看出，大致上有 x 越大 y 也越大，x 越小 y 也越小，這種情況，我們稱為 正相關 當x,y 的聯合分布像上圖那樣時，我們可以看出，大致上有 x 越大y 反而越小，x 越小 y 反...
協方差 協方差矩陣
期望 離散型隨機變數的一切可能的取值xi與對應的概率pi xi 之積的和稱為該離散型隨機變數的數學期望 設級數絕對收斂 記為 e x 隨機變數最基本的數學特徵之一。它反映隨機變數平均取值的大小。又稱期望或均值。求法 設離散型隨機變數x的取值為 方差 方差是各個資料與平均數之差的平方的平均數。在概率論...
協方差矩陣的例項與意義
在機器學習中經常需要計算協方差矩陣，本科時沒學過這個概念，一直對此非常頭疼。現在試圖通過例項的計算 圖形化的表示來梳理一下什麼是協方差矩陣。問題 有一組資料 如下 分別為二維向量，這四個資料對應的協方差矩陣是多少？解答 由於資料是二維的，所以協方差矩陣是乙個2 2的矩陣，矩陣的每個元素為 元素 i,...