一、 非線性規劃
二、 求熵值最大化
三、 2個限制條件
四、 拉格朗日方程
五、 對偶表示式
六、 數值優化
條件隨機場
一、 非線性規劃
其實整個公式基本上就是非線性規劃的經典流程，有興趣大家可以看看非線性規劃，有助於理解，沒有直接跳過也可以，非線性規劃的流程圖我幫大家拉到這兒，大家可以對照著看看對應流程是怎麼走的
非線性規劃：
二、 求熵值最大化
條件隨機場，也是求熵的最大值，就是滿足你設定的各種條件下，熵最大（基本上常見演算法都這套路，最大熵，最大熵隱馬，出現了熵那麼顯然這是個非線性規劃的問題）。
熵的公式為：
三、 2個限制條件
1. 模型期望要等於特徵期望
2. 條件概率之和要等於1
這兩個是等值約束，等號嘛
四、 拉格朗日方程
於是到這裡就成了帶等值約束的非線性規劃問題，見流程圖，我們要用拉格朗日乘子法來解決
建拉格朗日方程的方法也比較簡單，見圖開頭為所求最值部分，後面每一項為約束條件*變數，變數即為拉格朗日乘子
五、 對偶表示式
分別對拉格朗日乘子求導，把所有的拉格朗日乘子用其中乙個表示，代入即可得對偶表示式，
如圖最後的對偶方程中只有乙個變數
然後就變為了乙個變數的無約束的最值問題，於是各種數值最優的方法就都可以用上了，比如gis，iis，梯度下降，牛頓法，擬牛頓法等等。
六、 數值優化
見數值優化方法：
條件隨機場
模型是指數函式形式，最後求的是特徵在整個序列的權重，因此是全域性解。而最大熵只是求當前狀態的輸出解，是區域性解，因此有標記偏置的問題。條件隨機場源自圖模型的概念，序列標註使用的是一階煉表。整個圖的聯合概率就是每個團的概率乘積，每個團的概率又可以表示成狀態函式和條件轉移函式的乘積。優化目標是條件隨機場...
條件隨機場
概率圖模型是由圖表示的概率分布。概率無向圖模型又稱馬爾可夫隨機場 markov random field 表示乙個聯合概率分布，其標準定義為 設有聯合概率分布 p v 由無向圖 g v,e 表示，圖 g 中的節點表示隨機變數，邊表示隨機變數間的依賴關係。如果聯合概率分布 p v 滿足成對 區域性或全...
條件隨機場CRF
條件隨機場 crf 是給定一組輸入隨機變數x的條件下另一組輸出隨機變數y的條件概率分布模型，其特點是假設輸出隨機變數構成馬爾科夫隨機場。實際上是定義在時序資料上的對數線性模型。條件隨機場屬於判別模型。概率圖模型是由無向圖表示的聯合概率分布，概率無向圖模型的最大特點是易於因子分解。團 無向圖g中任何兩...