昨天涉及到了互資訊基礎上的發展，今天稍微說一下印象深刻的幾個吧（畢竟發展出來的變種太多了啊）。
歸一化互資訊
$$nmi(a,b) = \frac$$
歸一化互資訊與互資訊相比更平滑（有時間我補個圖吧），歸一化互資訊降低了對重疊部分的敏感性（配準過程中，會出現h(a,b)增大，同時h(a)h和h(b)也增大且增量大於h(a,b)增量的情況，此時根據互資訊的計算公式，互資訊反而增加了，帶來了配準誤差。），一定程度上提高了配準的精度。之前忘記說明互資訊的範圍，不過很容易推導出其取值範圍為[0,n),其中n是大於0的任意實數，而歸一化互資訊把測度調整到了[1,2]區間內。
熵相關係數
$$ecc(a,b) = \frac$$
我覺得熵相關係數和歸一化互資訊是等價的，都是互資訊的歸一化處理，而我個人更喜歡用ecc，因為它的取值範圍剛好是[0,1]，這使得用起來很舒服。
kullback-leibler差異
kullback-leibler差異也叫做相對熵、kl距離，我個人喜歡叫kl距離，我們用\(d_(\bullet)\)表示kl距離的話：
$$d_(a|b) = \sum p_(x)log_\frac(x)}(x)}$$
kl距離表示用b的分布去表徵a時，資訊的平均增量。 已知時間集合中某個事件發生時，按照a的分布，其資訊量為\(-p_(x)log_p_(x)\)，若按照b的分布估計時，其資訊量為\(-p_(x)log_p_(x)\)，資訊增量為\(p_(x)log_\frac(x)}(x)}\)，因此用b去近似估計a時的平均資訊增量就是kl距離了。
因為我們用b去近似估計a時，若a和b的分布不完全相同，勢必會存在一定的不確定度，而當a和b同分布時，不確定度為0，所以kl距離也是非負的（不過kl距離不滿足對稱性，在此基礎上有了對稱kl距離測度）。
熵圖前面也說到互資訊等是很好的多模態影象相似度測度，但是並沒有考慮到畫素本身以及鄰域的結構資訊，所以有了區域性熵圖。它反映了當前畫素點所在鄰域內資訊豐富情況，一定程度上反映了區域性資訊，不過通常區域性熵圖很「粗糙」，看上去像非常差的邊緣提取結果一樣。不過也有很多解決方法，比如和脈衝皮層發放模型結合，其結果明細「細化」了很多；此外還可以和影象的梯度等資訊結合，這些方法思路往往是將兩個模態的影象轉化為同一特徵空間下「中間影象」，在此基礎上完成配準過程，我想在之後的隨筆中寫一下（繼續埋坑坑自己）。
資訊熵概念隨筆 資訊熵 資訊的熵
之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0 1 為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所了解的兩個角度講下這兩種情況。1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不...
資訊熵與資訊熵增益
資料的資訊屬性是與任務相關的.對於分類任務,標籤值 y 包含的資訊量為 info y ln p y 其中,p y 為 y 出現的概率.p y 越小,y 包含的資訊量越大.這是符合直覺的.熵定義為資訊的期望值.乙個可以分為 m 類的資料集 s 它的資訊熵為隨機得到的乙個label包含的資訊量的期望值 ...
資訊熵 條件熵
1資訊熵以及引出條件熵 我們首先知道資訊熵是考慮該隨機變數的所有可能取值，即所有可能發生事件所帶來的資訊量的期望。公式如下 我們的條件熵的定義是 定義為x給定條件下，y的條件概率分布的熵對x的數學期望 這個還是比較抽象，下面我們解釋一下 設有隨機變數 x,y 其聯合概率分布為 條件熵h y x 表示...