先給出資訊熵的公式：
首先了解一下資訊量：資訊量是對資訊的度量，就跟時間的度量是秒一樣，當我們考慮乙個離散的隨機變數 x 的時候，當我們觀察到的這個變數的乙個具體值的時候，我們接收到了多少資訊呢？
多少資訊用資訊量來衡量，我們接受到的資訊量跟具體發生的事件有關。
資訊的大小跟隨機事件的概率有關。越小概率的事情發生了產生的資訊量越大，如湖南產生 的**了；越大概率的事情發生了產生的資訊量越小，如太陽從東邊公升起來了（肯定發生嘛， 沒什麼資訊量）。這很好理解！
因此乙個具體事件的資訊量應該是隨著其發生概率而遞減的，且不能為負。但是這個表示信 息量函式的形式怎麼找呢？隨著概率增大而減少的函式形式太多了！不要著急，我們還有下 面這條性質。
由於 x，y 是倆個不相關的事件，那麼滿足 p(x,y) = p(x)*p(y).
根據上面推導，我們很容易看出 h(x)一定與 p(x)的對數有關（因為只有對數形式的真數相乘 之後，能夠對應對數的相加形式，可以試試）。因此我們有資訊量公式如下：
（1）為什麼有乙個負號？其中，負號是為了確保資訊一定是正數或者是 0，總不能為負數吧！
（2）為什麼底數為 2 這是因為，我們只需要資訊量滿足低概率事件 x 對應於高的資訊量。那麼對數的選擇是任意的。我們只是遵循資訊理論的普遍傳統，使用 2 作為對數的底！
資訊熵 下面正式引出資訊熵：資訊量度量的是乙個具體事件發生了所帶來的資訊，而熵則是在結果出來之前對可能產生的資訊量的期望——考慮該隨機變數的所有可能取值，即所有可能發生事件所帶來的資訊量的期望。即
轉換一下也就是：
最終我們的公式**推導完成了。
資訊熵還可以作為乙個系統複雜程度的度量，如果系統越複雜，出現不同情況的種類越多， 那麼他的資訊熵是比較大的。如果乙個系統越簡單，出現情況種類很少（極端情況為 1 種情況，那麼對應概率為 1，那麼對應的資訊熵為 0），此時的資訊熵較小。
最後附上對數函式一些性質，你畫出 ?(?) = −????? 的影象會更加明了。
一看就懂的資訊熵
h x p x logp x 資訊的大小跟隨機事件的概率有關。越小概率的事情發生了產生的資訊量越大，如湖南產生 的 了 越大概率的事情發生了產生的資訊量越小，如太陽從東邊公升起來了 肯定發生嘛，沒什麼資訊量 b 由於 x，y 是倆個不相關的事件，那麼滿足 p x,y p x p y c 根據上面推導...
一看就懂的SwitchHosts
switchhosts 是乙個管理 切換多個 hosts 方案的工具。它是乙個免費開源軟體。日常開發工作中，我們可能經常需要切換各種 hosts 繫結，比如在本地開發時可能需要乙個開發環境的 hosts 繫結方案，發布到測試環境後又有乙個測試環境的 hosts 繫結方案，然後可能還有乙個預發布環境，...
一看就懂TCP 連線
我們先來看乙個定義。這樣理解比較抽象。我們換個角度。它的本質還是傳輸控制。如果讓我們自己設計這個傳輸，我們會怎麼想呢。tcp 協議它會先建立連線。三次握手目的是保證雙方都有傳送和接收的能力 首要原因是為了防止舊的重複連線初始化造成混亂。同步雙方初始序列號客戶端和服務端都處於 closed 狀態。先是...