本文對最大熵模型進行了系統性的學習和總結，從不同的角度來解讀熵的概念以及最大熵的內涵。對最大熵的具體應用進行了梳理，並介紹了與最大熵相關的一些概念，最後通過乙個簡單的demo來對最大熵模型進行直觀的認識和感悟。
熵，忘了第一次接觸是在物理課上還是在化學課上，總之是描述系統的無序性或者混亂狀態，跟熱力學第二定律的巨集觀方向性有關：在不加外力的情況下，總是往混亂狀態改變；跟化學反應的方向性有關，總是往能量降低的方向改變。印象中，熵總是與能量與混亂狀態聯絡在一起。最近讀吳軍的《數學之美》最大熵一章節，對於這個最大熵模型有了重新的認識，同時由於在近期的學術**研究中需要借助最大熵進行決策，因此才促成此次對最大熵模型的總結。
統計建模方法是用來modeling隨機過程行為的。在構造模型時，通常供我們使用的是隨機過程的取樣，也就是訓練資料。這些樣本所具有的知識（較少），事實上，不能完整地反映整個隨機過程的狀態。建模的目的，就是將這些不完整的知識轉化成簡潔但準確的模型。我們可以用這個模型去**隨機過程未來的行為。在統計建模這個領域，指數模型被證明是非常好用的。因此，自世紀之交以來，它成為每個統計物理學家們手中不可或缺的工具。最大熵模型是百花齊放的指數模型的一種，它表示的這類分布有著有趣的數學和哲學性質。儘管最大熵的概念可以追溯到遠古時代，但直到近年來計算機速度提公升之後，才允許我們將最大熵模型應用到統計評估和模式識別的諸多現實問題中（最大熵才在現實問題上大展身手）。
最大熵模型總結
本文對最大熵模型進行了系統性的學習和總結，從不同的角度來解讀熵的概念以及最大熵的內涵。對最大熵的具體應用進行了梳理，並介紹了與最大熵相關的一些概念，最後通過乙個簡單的demo來對最大熵模型進行直觀的認識和感悟。熵，忘了第一次接觸是在物理課上還是在化學課上，總之是描述系統的無序性或者混亂狀態，跟熱力學...
最大熵模型
最大熵模型學習中的對偶函式極大化等價於最大熵模型的極大使然估計。這樣最大熵模型的學習問題就轉換為具體求解對數似然函式極大化或對偶函式極大化的問題。邏輯斯蒂回歸模型 最大熵模型學習歸結為以似然函式為目標函式的最優化問題。iis試圖一次只優化其中乙個變數theai，而固定其他變數。這裡b thea w ...
最大熵模型
pw y x 1z w x exp i 1nw ifi x,y 其中，zw x yexp i 1n wifi x,y 最大熵模型的學習等價於約束最優化問題 minp c h p x yp x p y x logp y x s.t.ep fi ep fi 0,i 1,2 n yp y x 1 約束最優...