CV知識學習 Fisher Vector

在**《action recognition with improved trajectories》中看到fisher vector，所以學習一下。但網上很多的資料我覺得都寫的不好，查了一遍，按照自己的認識陳述一下，望大牛指正。

核函式：

先來看一下《統計學習方法》裡敘述的核函式的概念，

可以看到，核函式其實是乙個內積，在svm的公式可以提煉出內積的部分。資料在低維輸入空間可能線性不可分，而在高維希爾伯特空間可能線性可分的，因此會經過乙個對映函式。事實上，內積中可以理解為相似性即距離。

fisher核：

fisher核與fisher資訊矩陣有關，fisher資訊矩陣的意義，在知乎上的答案有了解

最後，fisher核與fisher資訊矩陣有關，得到：

，而i就是資訊矩陣，u就是score function。

fisher vector在影象上的應用：

影象在這裡使用gmm去描述，而影象採集的描述子是在全域性範圍內的，因此，fisher向量最後描述的也是全域性的特徵。一般步驟如下：

先隨機選擇資料集，去估計gmm的各個引數。fisher向量應該是score函式的聚集，但由於會應用到核函式，所以會乘上fisher資訊矩陣。

gmm模型為：

其中（熟悉gmm的人都很容易明白吧），

根據貝葉斯公式，定義描述子屬於第i個高斯模型的概率為：

各個引數的score函式

fisher資訊矩陣的近似解為：

計算fv向量為：

最終的結果為：

需要注意的是，引數已經在第一步估計出來了。可以看到fv向量的好處是，它把各個大小不同描述子集轉化成大小一致的乙個特徵向量表述。

從原始特徵到fv向量的演算法表述如下：

其實也沒有自己想的東西，本來以為昨晚理解的挺好，今天早上再來想了想，不對啊……直接把知道的寫上吧，額，好多部落格都沒寫到點上，哎~~~~~會用就好了~~~~~~~~~~~ t_t

**********==== 04/12/2016 更*************************=

忽然有點明白了，之前一直在想為什麼fisher vecotr可以作為特徵，首先看了兩個blog：知乎專欄

，csnd

最關鍵的地方是，fisher vector之所以可以用來做特徵分類，還是因為利用了fisher核，注意到它的形式為

，而i就是資訊矩陣，u就是score function。

而fisher 向量的歸一化後的每一項，都是

，即資訊矩陣的-1/2次方 * score fucntion。如果兩個fisher vector做內積，正好可以得到fisher 核

其中資訊矩陣為

score function 為