最大熵模型

最大熵原理 是 概率模型學習的乙個準則。

評價乙個模型的好壞是根據熵的大小，熵大說明模型越好。因此可以理解，最大熵原理就是滿足一定的約束條件下，選擇熵最大的模型。

計算最大熵：兩個前提問題：

解決問題要滿足一定約束

不做任何假設，就是在約束外的事件發生概率為等概率

舉個栗子：

（1）假設隨機變數x有5個取值 ｛a,b,c,d,e｝；估計各個值概率p(a),p(b),p(c),p(d),p(e)。

從上述的已知條件，p(a)＋p(b)＋p(c)＋p(d)＋p(e)＝1（約束）

（2）假設隨機變數x有5個取值 ｛a,b,c,d,e｝，其中，p(a)+p(b)=3/10。估計各個值的概率。

如題可以知道：p(a)＋p(b)＋p(c)＋p(d)＋p(e)＝1（約束）

p(a)+p(b)=3/10（約束）

從約束中根據等概率，我們可以推測，p(a) = p(b) = 3/20, p(c)=p(d)=p(e)=7/30

現在，知道了最大熵原理，我們可以過渡到最大熵模型了。

最大熵模型其實就是 最大熵原理應用到分類問題中。

最大熵模型的學習就是在一定約束條件下求解出最大熵h(p)：

最大熵模型

最大熵模型學習中的對偶函式極大化等價於最大熵模型的極大使然估計。這樣最大熵模型的學習問題就轉換為具體求解對數似然函式極大化或對偶函式極大化的問題。邏輯斯蒂回歸模型 最大熵模型學習歸結為以似然函式為目標函式的最優化問題。iis試圖一次只優化其中乙個變數theai，而固定其他變數。這裡b thea w ...

最大熵模型

pw y x 1z w x exp i 1nw ifi x,y 其中，zw x yexp i 1n wifi x,y 最大熵模型的學習等價於約束最優化問題 minp c h p x yp x p y x logp y x s.t.ep fi ep fi 0,i 1,2 n yp y x 1 約束最優...

最大熵模型

學習概率模型時，在所有的可能概率模型 分布 中，熵最大的模型是最好的模型。通常根據約束條件來確定概率模型的集合，所以也可理解為 在滿足約束條件的模型集合中選取熵最大的模型。假設離散隨機變數 x 的概率分布是p x 則其熵是 h p xp x lo gp x 熵滿足不等式 0 h p lo g x 其...