2023年美國數學家夏農（shanonc.e）為解決資訊的度量問題提出了資訊熵的概念。資訊熵是資訊理論中用來刻畫資訊無需度的乙個量，熵值越大，表示資訊的無序化程度越高，相對應的資訊效率越高
假設針對評價指標已經建立了合理的權重矩陣p，則pj表示第j個評價指標的權重。顯然pj的和為1且pj>=0。
為確定權重矩陣p，我們應該構建乙個計算矩陣y的函式h，h的相關性質如下：
- 對稱性：h(x1,x2)=h(x2,x1)。當評價物件次序改變的時候，對同一評價指標的權重不變。即計算矩陣y的任意兩行發生變化時，函式的值保持不變。
- 單調性：函式要求單調遞增
- 連續性：
- 可加性
基於以上原則，我們構建出的函式：
這裡的c為歸一化因子，對數的底取e是為了計算方便，並不影響後續的計算結果，唯一問題是h(x1,x2)位單調減函式與習慣不符，因此在計算後期必須計算離差進行修整。
資訊熵的計算
最近在看決策樹的模型，其中涉及到資訊熵的計算，這裡東西是由訊號處理中來的，理論部分我就不再重複前人的東西了，下面給出兩個簡單的公式 當然學習過訊號與系統的童鞋一定覺得這不是夏農提出的東西嗎？o o 沒錯，就是這個東西，只不過我們用在了機器學習上，好了下面就看 吧，這些 也很簡單，我們知道資訊熵越大表...
資訊熵概念隨筆 資訊熵 資訊的熵
之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0 1 為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所了解的兩個角度講下這兩種情況。1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不...
python計算資訊熵 Python計算資訊熵例項
計算資訊熵的公式 n是類別數，p xi 是第i類的概率 假設資料集有m行，即m個樣本，每一行最後一列為該樣本的標籤，計算資料集資訊熵的 如下 from math import log def calcshannonent dataset numentries len dataset 樣本數 labe...