概率圖模型是由圖表示的概率分布。概率無向圖模型又稱馬爾可夫隨機場（markov random field），表示乙個聯合概率分布，其標準定義為：
設有聯合概率分布\(p(v)\)由無向圖\(g=(v, e)\)表示，圖\(g\)中的節點表示隨機變數，邊表示隨機變數間的依賴關係。如果聯合概率分布\(p(v)\)滿足成對、區域性或全域性馬爾可夫性，就稱此聯合概率分布為概率無向圖模型或馬爾可夫隨機場。
設無向圖\(g\)中的任意兩個沒有邊連線的節點\(u\),\(v\) ，其他所有節點為\(o\)，成對馬爾可夫性指：給定\(y_o\)的條件下，\(y_u\)和\(y_v\)條件獨立
\]設無向圖\(g\)的任一節點\(v\)，\(w\)是與\(v\)有邊相連的所有節點，\(o\)是\(v\)、\(w\)外的其他所有節點，區域性馬爾可夫性指：給定\(y_w\)的條件下，\(y_v\)和\(y_o\)條件獨立
設節點集合\(a\)、\(b\)是在無向圖\(g\)中被節點集合\(c\)分開的任意節點集合，全域性馬爾可夫性指：給定\(y_c\)的條件下，\(y_a\)和\(y_b\)條件獨立
條件隨機場
設\(x\)和\(y\)是隨機變數，\(p(y|x)\)是在給定\(x\)的條件下\(y\)的條件概率分布。若隨機變數\(y\)構成乙個有無向圖\(g=(v,e)\)表示的馬爾可夫場，即
\[p(y_v|x,y_w,w\neq v)=p(y_v|x,y_w, w \sim v)
\]對任意節點\(v\)都成立，則稱\(p(y|x)\)是條件隨機場。式中\(w≠v\)表示\(w\)是除\(v\)以外的所有節點，\(w∼v\)表示\(w\)是與\(v\)相連線的所有節點。
線性鏈條件隨機場
對於線性鏈條件隨機場來說，圖\(g\)的每條邊都存在於狀態序列\(y\)的相鄰兩個節點，最大團\(c\)是相鄰兩個節點的集合，\(x\)和\(y\)有相同的圖結構意味著每個\(x_i\)都與\(y_i\)一一對應。
設\(x=(x_1,...,x_n),y=(y_1,...,y_n)\)均為線性鏈表示的隨機變數序列，若在給定隨機變數序列\(x\)的條件下，隨機變數序列\(y\)的條件分布\(p(y|x)\)構成條件隨機場，即滿足馬爾可夫性
\[p(y_i|x,y_1,\cdots,y_,y_,\cdots,y_n)=p(y_i|x,y_,y_), \\
i=1,\cdots,n \quad \text\]
則稱\(p(y|x)\)為線性鏈條件隨機場。在標註問題中\(x\)表示輸入觀測序列，\(y\)表示對應的狀態序列。
引數化形式
設\(p(y|x)\)為線性鏈條件隨機場，則在隨機變數\(x\)取值為\(x\)的條件下，隨機變數\(y\)取值為\(y\)的條件概率具有如下形式：
\[p(y|x)=\frac\exp \left[ \sum_\lambda_kt_k(y_,y_i,x,i)+\sum_\mu_ls_l(y_i,x,i) \right]
\]其中
\[z(x)=\sum_\exp \left[ \sum_\lambda_kt_k(y_,y_i,x,i)+\sum_\mu_ls_l(y_i,x,i) \right]
\]式中，\(t_k\)和\(s_t\)是特徵函式，\(\lambda_k\)和\(\mu_l\)是對應的權值。
上式是基本形式，表示給定輸入序列\(x\),對輸出序列\(y\)**的條件概率。\(t_k\)是定義在邊上的特徵函式，稱為轉移特徵，依賴於當前和前乙個位置，\(s_l\)是定義在節點上的特徵函式，稱為狀態特徵，依賴於當前位置。\(t_k\)和\(s_l\)都依賴於位置，是區域性特徵函式。通常都是0-1函式。
線性鏈條件隨機場也是對數線性模型(邏輯回歸也是)。
簡化形式
將轉移特徵和狀態特徵機器權值用統一的符號表示。設有\(k_1\)個轉移特徵，\(k_2\)個狀態特徵，\(k=k_1+k_2\)，記
\[f_k(y_,y_i,x,i)=\begin
t_k(y_,y_i,x,i) \quad k=1,2,\cdots,k_1 \\
s_l(y_i,x,l) \quad k=k_1+l; \ l=1,2,\cdots,k_2
\end\]
然後，對轉移與狀態特徵在各個位置\(i\)求和，記作
\[f_k(y,x)=\sum \limits_^n f_k(y_,y_i,x,i),\quad k=1,2,\cdots,k
\]用\(w_k\)表示特徵\(f_k(y,x)\)的權值，即
\[w_k=\begin
\lambda_k, \quad k=1,2\cdots,k_1 \\
\mu_l, \quad k=k_1+l, \ l=1,2,\cdots,k_2
\end\]
於是，條件隨機場可以表示為
\[p(y|x)=\frac\exp \sum_^k w_kf_k(y,x)
\]還可以把\(w_k\)和\(f_k(y,x)\)表示成向量的形式
矩陣形式
引進特殊的起點和和終點狀態標記\(y_0=start,y_=stop\)，這是\(p_w(y|x)\)(簡化形式)可以通過矩陣形式表示
對觀測序列\(x\)的每乙個位置\(i=1,2,\cdots,n+1\)，定義乙個\(m\)階的矩陣(m是標記\(y_i\)取值的個數)
\[m_i(x)=[m_i(y_,y_i|x)]
\]\[m_i(y_,y_i|x)=\exp(w_i(y_))
\]\[w_i(y_,y_i|x)=\sum_^k w_kf_k(y_,y_i,x,i)
\]這樣，給定觀測序列\(x\)，相應標記序列\(y\)的非規範化概率可以通過該序列\(n+1\)個矩陣適當元素的乘積\(\prod_^m_i(y_,y_i|x)\)表示，於是條件概率\(p_w(y|x)\)是
\[p_w(y|x)=\frac\prod_^m_i(y_,y_i|x)
\]其中，\(z_w(x)\)是規範化因子，是\(n+1\)個矩陣的乘積的(start，stop)元素。
\[z_w(x)=(m_1(x)m_2(x)\cdots m_(x))_
\]注意，\(y_0=start\)與\(y_=stop\)表示開始開始狀態和終止狀態，規範化因子\(z_w(x)\)是以start為起點stop為終點通過狀態的所有路徑\(y_1 y_2 \cdots y_n\)的非規範化概率\(\prod_^m_i(y_,y_i|x)\)之和。
條件隨機場
模型是指數函式形式，最後求的是特徵在整個序列的權重，因此是全域性解。而最大熵只是求當前狀態的輸出解，是區域性解，因此有標記偏置的問題。條件隨機場源自圖模型的概念，序列標註使用的是一階煉表。整個圖的聯合概率就是每個團的概率乘積，每個團的概率又可以表示成狀態函式和條件轉移函式的乘積。優化目標是條件隨機場...
條件隨機場CRF
條件隨機場 crf 是給定一組輸入隨機變數x的條件下另一組輸出隨機變數y的條件概率分布模型，其特點是假設輸出隨機變數構成馬爾科夫隨機場。實際上是定義在時序資料上的對數線性模型。條件隨機場屬於判別模型。概率圖模型是由無向圖表示的聯合概率分布，概率無向圖模型的最大特點是易於因子分解。團 無向圖g中任何兩...
CRF條件隨機場
crf即條件隨機場 conditional random fields 是在給定一組輸入隨機變數條件下另外一組輸出隨機變數的條件概率分布模型，它是一種判別式 理解一些和生成模型的區別 的概率無向圖模型，既然是判別式，那就是對條件概率分布建模。一 概率無向圖模型 概率無向圖模型是由無向圖表示的聯合概率...