熵值（entropy）的定義歷史：
2023年德國物理學家克勞修斯《熱力學》中提出：
熵增原理，乙個系統的混亂度，實際發生過程中，總是系統的熵值趨於增大。
2023年玻爾茲曼《統計物理學》證明：系統的巨集觀物理性質，可以認為是所有可能微觀狀態的等概率統計平均值。我們將熵看作是乙個系統「混亂程度」的度量，因為乙個系統越混亂，可以看作是微觀狀態分布越均勻。
2023年夏農 在訊號通訊領域《資訊理論》提出資訊熵：
資訊熵（夏農熵）：根據資料樣本所出現的概率計算資料混亂程度的數值叫做資訊熵。
2023年jaynes觀點認為熱力學熵值是夏農資訊理論的乙個應用。
所以現在除了利用了解系統或者樣本的熵值，還可以利把他的熵值（混亂度）作為乙個系統的特徵進行處理；
熵值的原始定義：
如果x是乙個離散型隨機變數，概率分布為：
p(x)=p(x=x)
x的熵值為h(x)=-ep(x)logap(x);
對數的底a為2時候：h單位是bit。
對數的底a為e=2.732:h單位是nat。
對數的底a為10：h的單位是hart。
取值範圍：【0-lg|x|】x是樣本取值個數
性質：連續性，對稱性，極值性（極值最大就是均勻分布的時候）可加性
熵值（資訊熵）：又稱為自資訊或（資訊熵），系統的不確定性量度，離散變數的不確定性（混亂度的度量）。
例如以下：
自資訊 非負 量化單個事件發生包含資訊量（不確定度）的基本方法
香濃熵 非負 對概率分布中的不確定性總量進行量化
微分熵 非負 對連續性隨機變數的概率分布中的不確定性總量進行量化
相對熵 非負，非對稱 衡量兩個分布之間的差異；用作機器學習分類任務的損失函式時，往往可以替換為交叉熵
交叉熵 非負 衡量兩個隨機變數之間的相似度；當真實輸出a與期望輸出y接近的時候，代價函式接近於0；常用作分類問題中的損失函式
%輸入陣列x=[
1111
2234
];%資訊熵
a=tabulate
(x);
%統計概率函式：tabulate()
p_a=a(
:,3)
./100;
%取出統計概率值h=(
-1)*
sum(p_a.
*log2
(p_a)
)%計算資訊熵
高斯分布下的微分熵：
聯合熵：
條件熵：
相對熵（relative entropy）（kl散度）：交叉熵-資訊熵
差分熵：
微分熵：
交叉熵：
傳遞熵：
加權熵：
雷尼熵（renyi entropy）,
用到熵的公式的
kl散度：
條件kl散度：
js散度：
互資訊：
點互資訊：
熵與資訊理論
假設任何檔案都可以被壓縮到 n 個二進位制位 bit 那麼其最多可以表示 2n 個不同的壓縮結果。也即，如果存在 2n 1個檔案，根據鴿籠原理，必然至少有兩個檔案得到同一壓縮效果。這就意味著，這兩個檔案不可能都無損地還原。因此，可以得出乙個相對抽象的結論，並非所有檔案都可以被壓縮到 n 個bit 位...
TensorFlow 資訊理論 資訊熵2
tensorflow 資訊理論 資訊熵2 flyfish tensorflow 資訊理論 資訊熵1 熵是接收的每條訊息中包含的資訊的平均量，又被稱為資訊熵 信源熵 平均自資訊量 自資訊量已經知道它的意思，平均自資訊量就是加權平均 在資訊理論裡 熵，資訊熵 信源熵 平均自資訊量都是乙個意思 乙個系統的...
資訊理論中的各種熵
本文簡單介紹了資訊理論中的各種熵，包括自資訊 熵 聯合熵 條件熵 互資訊 kl散度 交叉熵。並在最後用資訊理論中的交叉熵推導了邏輯回歸，得到了和最大似然法相同的結果。熵是資訊的關鍵度量，通常指一條資訊中需要傳輸或者儲存乙個訊號的平均位元數。熵衡量了 隨機變數的不確定度，不確定性越大熵越大。針對隨機變...