奧卡姆剃刀法則的核心是簡單原則，當我們找到基函式時，而且找到了對乙個事物最根本規律的認識時，我們可以得到對它最簡單、最有效的描述。但是在我們尋找到基函式之前，我們需要有很多過渡性模型，用來解決當下問題。
最大熵原理的實質就是，當我們需要對乙個隨機事件的概率分布進行**時，在已知部分知識的前提下，對未知的情況不要做任何主觀假設，在這種情況下，概率分布最均勻，**的風險最小。因為這時概率分布的資訊熵最大，所以人們稱這種模叫「最大熵模型」。我們常說，不要把所有的雞蛋放在乙個籃子裡，就要保留各種可能性。
吳軍老師在一次報告時與聽眾做了一次骰子實驗，當拿出乙個正常骰子的時候，聽眾對骰子各個面朝上的概率一致認同是1/6。當拿出另外乙個被做過手腳的骰子，其中有一面朝上的概率是2/5,對面的點數概率是0，所有人一致認同其他4個面的概率是3/20。這就是我們在做出判斷時，根據全部已知條件，根據直覺**的風險最小概率，這就是最大熵原理的基本原則。
最大熵模型的優勢是：保證結果能覆蓋到當前已知可行性，不做任何主觀猜測，這樣的模型最光滑，不會遇到黑天鵝事件，讓**的風險最小。當我們遇到不確定性時，就要保留各種可能性，而不要隨便作主觀的假設。
當我們遇到矛盾的先決條件時，最大熵模型會自動選擇兩個條件的中間點，保證資訊的損失最小。最大熵模型在形式上是最漂亮、最完美的統計模型，在效果上也是最好、最安全的模型。
最大熵模型
最大熵模型學習中的對偶函式極大化等價於最大熵模型的極大使然估計。這樣最大熵模型的學習問題就轉換為具體求解對數似然函式極大化或對偶函式極大化的問題。邏輯斯蒂回歸模型 最大熵模型學習歸結為以似然函式為目標函式的最優化問題。iis試圖一次只優化其中乙個變數theai，而固定其他變數。這裡b thea w ...
最大熵模型
pw y x 1z w x exp i 1nw ifi x,y 其中，zw x yexp i 1n wifi x,y 最大熵模型的學習等價於約束最優化問題 minp c h p x yp x p y x logp y x s.t.ep fi ep fi 0,i 1,2 n yp y x 1 約束最優...
最大熵模型
學習概率模型時，在所有的可能概率模型 分布 中，熵最大的模型是最好的模型。通常根據約束條件來確定概率模型的集合，所以也可理解為 在滿足約束條件的模型集合中選取熵最大的模型。假設離散隨機變數 x 的概率分布是p x 則其熵是 h p xp x lo gp x 熵滿足不等式 0 h p lo g x 其...