最近在看決策樹的模型，其中涉及到資訊熵的計算，這裡東西是由訊號處理中來的，理論部分我就不再重複前人的東西了，下面給出兩個簡單的公式：
當然學習過訊號與系統的童鞋一定覺得這不是夏農提出的東西嗎？o(∩_∩)o~沒錯，就是這個東西，只不過我們用在了機器學習上，好了下面就看**吧，這些**也很簡單，我們知道資訊熵越大表示所含資訊量越多。
下面是計算資訊熵的方法，以及測試**：
import math
def cacshannonent(dataset):
numentries = len(dataset)
labelcounts = {}
for featvec in dataset:
currentlabel = featvec[-1]
if currentlabel not in labelcounts.keys():
labelcounts[currentlabel] = 0
labelcounts[currentlabel] +=1
shannonent = 0.0
for key in labelcounts:
prob = float(labelcounts[key])/numentries
shannonent -= prob*math.log(prob, 2)
return shannonent
def createdataset():
dataset = [[1, 1, 'yes' ],
[1, 1, 'yes' ],
[1, 0, 'no'],
[0, 1, 'no'],
[0, 1, 'no']]
labels = ['no su***cing', 'flippers']
return dataset, labels
mydat,labels = createdataset()
print(cacshannonent(mydat))
資訊熵計算權重
1948年美國數學家夏農 shanonc.e 為解決資訊的度量問題提出了資訊熵的概念。資訊熵是資訊理論中用來刻畫資訊無需度的乙個量，熵值越大，表示資訊的無序化程度越高，相對應的資訊效率越高 假設針對評價指標已經建立了合理的權重矩陣p，則pj表示第j個評價指標的權重。顯然pj的和為1且pj 0。為確定...
資訊熵概念隨筆 資訊熵 資訊的熵
之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0 1 為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所了解的兩個角度講下這兩種情況。1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不...
python計算資訊熵 Python計算資訊熵例項
計算資訊熵的公式 n是類別數，p xi 是第i類的概率 假設資料集有m行，即m個樣本，每一行最後一列為該樣本的標籤，計算資料集資訊熵的 如下 from math import log def calcshannonent dataset numentries len dataset 樣本數 labe...