TensorFlow 資訊理論 資訊熵2

tensorflow - 資訊理論(資訊熵2)

flyfish

tensorflow - 資訊理論(資訊熵1)

熵是接收的每條訊息中包含的資訊的平均量，又被稱為資訊熵、信源熵、平均自資訊量

自資訊量已經知道它的意思，平均自資訊量就是加權平均

在資訊理論裡 熵，資訊熵、信源熵、平均自資訊量都是乙個意思

乙個系統的資訊熵其實就是系統中每乙個事件的概率乘以log概率，然後把所有事件相加後取負數。

因為概率總是在0-1之間，所以log後會小於0，取了負以後熵就是正數了。

log如果以2為底數的話，資訊熵的單位就是（bit），

以e為底數的話，資訊熵的單位就是（nat），

以10為底數的話，單位就是（hat）。

關於拋硬幣如果有一枚理想的硬幣，其出現正面和反面的機會相等，求熵

關於拋硬幣如果知道乙個面是概率0.7 乙個面是概率0.3，求熵

假設乙個隨機變數x，取三種可能值x1,x2,x3，概率分別為0.5,0.25,0.25，求熵。

python**如下

利用式子 h=

−∑i(

pi⋅l

og2(

pi))

h =−

∑i(p

i⋅lo

g2(p

i)

)

import numpy as np

defentropy
(x):
n=np.array(x).shape[0]
ret=0.0
for i in range(n):
ret=ret+(-1*x[i])*np.log2(x[i])
return ret
#x=np.array([0.5,0.25,0.25])#1.5
#x=np.array([0.5,0.5]) #1
x=np.array([0.7,0.3])#0.8812908992306927
print(entropy(x))

從大**迄今，一百億年來，宇宙從一團緻密而極熱的原始物質慢慢冷卻。當這一漫長的歷史走到大約三分之二的時候，一些特別的事情發生了。一種貪得無厭的力量開始強迫這些正在慢慢消散的熱和秩序在區域性形成更好的秩序。這個半路殺出來的程咬金其最不尋常之處在於：

（1）它是自給自足的，

（2）它是自強化的：它自身愈龐大，就產生愈多的自身。自此之後，宇宙中就並存著兩個趨勢。一種是永遠下行的趨勢，這股力量初時熾熱難當，然後嘶嘶作響歸於冰冷的死寂。這就是令人沮喪的卡諾第二定律，所有規律中最殘酷的法則：所有秩序都終歸於混沌，所有火焰都將熄滅，所有變異都趨於平淡，所有結構都終將自行消亡。第二種趨勢與此平行，但產生與此相反的效果。它在熱量消散前（因為熱必會消散）將其轉移，在無序中構建有序。它借助趨微之勢，逆流而上。這股上公升之流利用其短暫的有序時光，盡可能搶奪消散的能量以建立乙個平台，來為下一輪的有序作鋪墊。它傾盡所有，無所保留，其秩序全部用來增強下一輪的複雜性、成長和有序。它以這種方式在混沌中孕育出反混沌，我們稱之為生命。

熵是對不確定性的測量。熵是隨機性的度量。 隨機性越高，資訊量越大，反之越小。

資訊可以測量，可以壓縮。利用更少的位元來傳輸更多的資訊。這就是各種編碼和壓縮演算法做的事情。

你無法通過攪拌將果醬和布丁區分開來。 時間一去不返。 世事無常

統計上，萬事萬物都將趨於熵最大化，宇宙從可能性較小的（有序）巨集觀狀態演化為可能性較大的（無序）巨集觀狀態

度量一條訊息的不確定程度，通過只允許回答是或者否的問題來猜出一條未知訊息時所需問問題的平均數目。

計算乙個系統的所有可能組合，無序狀態遠多於有序，所以有序的熵低，出現概率也低。要達到可觀的有序度，出現概率更可能會非常低。

用資訊降低熵 ，而獲取資訊會增加熵。1位元資訊對應klog2個單位的熵。

資訊是物理的。萬物源自位元。

資訊理論筆記

i p log b p 當b 2,熵的單位是bit b e,熵的單位是nat b 10,熵的單位是hart p 1,i p 0 p 0,i p p 1 2,i p 1 h x ex i x e x l ogb x 個人理解 x可以是連續或者離散,反正就是積分h p,q ep log q h p dk...

資訊理論基礎

所謂的資訊，就是以前不知道現在知道的事實，如果某件事以前就知道，當別人再告訴你時，你會忽略，這件事對你的認知沒有任何影響，這就不叫資訊，反之，如果某件事以前你不知道，有人告訴你了，你現在知道了，那麼對你而言，這件事就是資訊。讓我們更進一步，看一件事帶來的資訊量的大小如何來度量。顧名思義，資訊量就是度...

資訊理論學習

條件熵和聯合熵 h x y z h x z h y x,z h x,y z h x z h y x,z h x,y z h x z h y x,z 互資訊基本性質 對稱性x,y顛倒位置相等 非負性肯定大於等於零 級值性互資訊不可能比自身還大 可加性 例題題目 25個銅幣有一枚質量不同，通過天平最少能...