資訊熵的理解

資訊熵的定義式

h(x)= -

通過以上的式子求和的單項，我們可以理解的是他表示x=xi發生的概率為pi，那麼產生一次x=xi的次數應該需要1/pi次，要在1/pi次中找到x=xi的那個特定的點，需要對這些次數進行搜尋，至少需要尋找log（1/pi）次，每次找到的概率是pi，所以pi·log（1/pi）表示的是尋找到x=xi的那個點的期望。

基於對第2點內容的理解，資訊熵h(x)其實就是對找到x=xi，xj，xk....的期望的累加。

資料集的資訊熵越大，說明該資料集越複雜， 需要付出更大的代價才能弄懂這些資訊。

利用機器學習演算法對資料集進行處理的時候，那產生的模型的複雜度應該與資料集本身的資訊熵息息相關。

決策樹的id3分類演算法是針對資訊熵增益對某個特徵進行選擇的，他表示的想法是：資訊熵增益越大，該特徵所能提供資訊越多，對資料集的分類越有效果。

資訊熵的理解

真實分別 p 非真實分布 q p對於機器學習的label,q代表 結果 資訊熵 交叉熵 h p,q 相對熵 h 1 2 1 1 4 2 1 8 3 1 8 3 1.75 爸爸已經告訴小明這些小球的真實分布是 1 2，1 4,1 8，1 8 但小明所選擇的策略卻認為所有的小球出現的概率相同，相當於忽略...

資訊熵 交叉熵公式的理解

代表 資訊量 不確定度 的大小。變數的不確定性越大，熵也就越大，把它搞清楚所需要的資訊量也就越大。二 資訊熵的公式定義 h x e log2 p x 1 ip xi log2 p xi 1h x e log 2 p x sum p x i log 2p x i h x e log 2 p x 1 i...

資訊熵概念隨筆 資訊熵 資訊的熵

之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0 1 為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所了解的兩個角度講下這兩種情況。1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不...