注：這篇筆記僅僅記錄關於熵的一些知識點備忘。對於最大熵模型的使用，有待做進一步了解。
乙個隨機變數x，其取值為，則我們定義其資訊量為：
將p(x=xi)寫為通式，則得到熵的數學定義：
利用圖形化表示關係：
熵性質： 0 <= h(x) <= log |x|
最大熵的一般模型：
最大熵模型有兩點要注意，我們承認已知的條件，並且還要堅持無偏估計。也就是，最大熵的約束條件中，對於未知的全部取平均，即認為他們是等可能發生的。
模型總結：
對於以上，可以構造拉格朗日函式來求解極值問題。
golang開發筆記No 5
下面這段 能否編譯通過？如果可以，輸出什麼？package main import fmt const x iota y z zz k p iota func main 結果 0 2 zz zz 5 解析 iota是golang語言的常量計數器,只能在常量的表示式中使用。iota在const關鍵字出...
初學ML筆記N0 6 聚類方法
聚類的目的就是為了將相似樣本的樣本分到同乙個類別裡。那麼，首先要考慮的便是如何度量這個相似。下面給出幾種常見的度量方式 演算法首先隨機地選擇k個物件，每個物件初始地代表了乙個簇的平均值或中心。對剩餘的每個物件根據其與各個簇中心的距離，將其賦給最近的簇。然後重新計算出每個簇的中心，然後繼續將每個點賦給...
初學jquery之自學筆記 5
111.用匹配的元素替換掉所有 selector匹配到的元素。paragraph.replaceall p 112.將所有匹配的元素替換成指定的html或dom元素。p replacewith paragraph.113.刪除匹配的元素集合中所有的子節點。p empty 114.從dom中刪除所有匹...