協方差矩陣的詳細說明
黃葉權整理於2007-7-18
在做人臉識別的時候經常與協方差矩陣打交道，但一直也只是知道其形式，而對其意義卻比較模糊，現在我根據單變數的協方差給出協方差矩陣的詳細推導以及在不同應用背景下的不同形式。
變數說明：
設為一組隨機變數，這些隨機變數構成隨機向量
，每個隨機變數有
m個樣本，則有樣本矩陣
） 其中
對應著每個隨機向量
x的樣本向量，
對應著第
i個隨機單變數的所有樣本值構成的向量。
單隨機變數間的協方差：
隨機變數
之間的協方差可以表示為
） 根據已知的樣本值可以得到協方差的估計值如下：
） 可以進一步地簡化為：
） 協方差矩陣：
） 其中
，從而得到了協方差矩陣表示式。
如果所有樣本的均值為乙個零向量，則式（
5）可以表達成：
） 補充說明：
1、協方差矩陣中的每乙個元素是表示的隨機向量
x的不同分量之間的協方差，而不是不同樣本之間的協方差，如元素
cij就是反映的隨機變數
xi, xj
的協方差。 2、
協方差是反映的變數之間的二階統計特性，如果隨機向量的不同分量之間的相關性很小，則所得的協方差矩陣幾乎是乙個對角矩陣。對於一些特殊的應用場合，為了使隨機向量的長度較小，可以採用主成分分析的方法，使變換之後的變數的協方差矩陣完全是乙個對角矩陣，之後就可以捨棄一些能量較小的分量了（對角線上的元素反映的是方差，也就是交流能量）。特別是在模式識別領域，當模式向量的維數過高時會影響識別系統的泛化效能，經常需要做這樣的處理。 3、
必須注意的是，這裡所得到的式（
5）和式（
6）給出的只是隨機向量協方差矩陣真實值的乙個估計（即由所測的樣本的值來表示的，隨著樣本取值的不同會發生變化），故而所得的協方差矩陣是依賴於取樣樣本的，並且樣本的數目越多，樣本在總體中的覆蓋面越廣，則所得的協方差矩陣越可靠。 4、
如同協方差和相關係數的關係一樣，我們有時為了能夠更直觀地知道隨機向量的不同分量之間的相關性究竟有多大，還會引入相關係數矩陣。
協方差矩陣的詳細說明
協方差矩陣的詳細說明 在做人臉識別的時候經常與協方差矩陣打交道，但一直也只是知道其形式，而對其意義卻比較模糊，現在我根據單變數的協方差給出協方差矩陣的詳細推導以及在不同應用背景下的不同形式。變數說明 設為一組隨機變數，這些隨機變數構成隨機向量 每個隨機變數有 m個樣本，則有樣本矩陣 其中 對應著每個...
協方差矩陣的詳細說明
在做人臉識別的時候經常與協方差矩陣打交道，但一直也只是知道其形式，而對其意義卻比較模糊，現在我根據單變數的協方差給出協方差矩陣的詳細推導以及在不同應用背景下的不同形式。變數說明 設為一組隨機變數，這些隨機變數構成隨機向量 每個隨機變數有 m個樣本，則有樣本矩陣 其中 對應著每個隨機向量 x的樣本向量...
協方差矩陣的詳細說明
協方差矩陣的詳細說明 在做人臉識別的時候經常與協方差矩陣打交道，但一直也只是知道其形式，而對其意義卻比較模糊，現在我根據單變數的協方差給出協方差矩陣的詳細推導以及在不同應用背景下的不同形式。變數說明 設其中 單隨機變數間的協方差 隨機變數 根據已知的樣本值可以得到協方差的估計值如下 可以進一步地簡化...