前置條件：
概率無向圖模型（馬爾可夫性、hammersley-clifford原理）----統計學習方法 11.1
假設有事件x1 x2 x3，你想計算出 p(x1) p(x2) p(x3) p(x1|x2x3) p(x2|x1x3) p(x3|x1x2) ...
你並不知道，x1 x2 ... xn之間的關係，你希望能有乙個神奇的模型，只需要比較少的引數，就能計算所有關於x1 x2 ... xn之間能定義出來的概率。hammersley-clifford原理就是為解決這一問題。
線性鏈條件隨機場的引數化形式：
$$p\left ( y|x \right )=\fracexp(\sum_\lambda_t_(y_,y_,x,i)+\sum_\mu_s_(y_i,x,i))$$
$$z(x)=\sum_exp(\sum_\lambda _kt_k(y_,y_i,x,i)+\sum_\mu_ls_l(y_i,x,i))$$
\(t_k\)和\(s_l\)是取值為0，1的特徵函式，\(\lambda_k\)和\(\mu_l\)是對應的權值
線性條件隨機場的簡化形式：
$$f_k(y_,y_i,x,i)=\begin
t_k(y_,y_i,x,i), & \text k=1,2,...,k_1 \\
s_l(y_i,x,i), & \text k=k_1+l;l=1,2,...,k2
\end$$
這裡\(k=k_1+k_2\)為特徵函式的總個數。特徵求和可記作：
$$f_k(y,x)=\sum_^f_k(y_,y_i,x,i), k=1,2,...,k$$
\(w_k\)表示特徵\(f_k(y,x)\)的權值，即:
$$w_k=\begin
\lambda_k, & \text k=1,2,...,k_1\\
\mu_l, & \text k= k_1+l;l=1,2,...,k_2
\end$$
因此可以簡化表達為：
$$p(y|x)=\fracexp\sum_^w_kf_k(y,x)$$
$$z(x)=\sum_exp\sum_^w_kf_k(y,x)$$
改進的迭代尺度演算法：
有了以上公式，使用改進的迭代尺度演算法進行學習是crf的一種比較常見的方法。
構造對數似然函式:\(l(w)=l_\tilde(p_w)=log\prod_p_w(y|x)^(x,y)}=\sum_\tilde(x,y)logp_w(y|x)\)
\(=\sum_[\tilde(x,y)\sum_^w_kf_k(y,x)-\tilde(x,y)logz_w(x)]\)
\(\tilde(x,y)\)為經驗概率分布(即針對輸入x和輸出y的鍵值對進行概率統計)
優化使用改進的迭代尺度法，具體參見另外一篇部落格。
CRF原理和CRF 安裝與使用
普通的分類問題是把 x,y 看做乙個樣本，序列分類問題是把 x1,xt,y1,yt 整體看做乙個樣本。比如以前用 svm，輸入x輸出y是標量，表示類別 現在用crf，輸入x輸出y是個序列，表示不同位置 時刻的類別。通過訓練迭代出各個特徵函式的類別。crf通過迭代各特徵函式的權重使得對狀態序列的所有位...
CRF序列標註模型幾個問題的理解
條件隨機場模型 crf 在序列標註問題中得到廣泛應用，並且事實證明crf的效果不錯。本文就以下幾個問題寫下自己的理解 1 哪些場景適合序列標註模型，哪些場景適合分類器模型？edwin chen在介紹條件隨機場的博文中，通過乙個有趣的問題，引入條件隨機場序列標註問題，我們這裡不妨拿過來直接用一下 假設...
CRF簡單理解總結
條件隨機場 conditional random fields,以下簡稱crf 是給定一組輸入隨機變數條件下另一組輸出隨機變數的條件概率分布模型，其特點是假設輸出隨機變數構成馬爾科夫隨機場。條件隨機場是一種判別式模型 crf的作用 簡單理解就是從可選的標註序列中，選擇最靠譜的乙個序列。比如一句話中有...