對於crf一直很嚮往,專門花了一些時間去查詢資料,一步一步弄明白了crf的基本原理,下面把crf部分核心寫了出來,時間倉促,很多細節沒有寫出來,後續會慢慢完善。而且crf需要用到很多的基礎知識,比如無向圖/有向圖,判別式/生成式,最大團等等概念,所以想要徹底的理解crf,必須弄明白這些基礎知識。當然了由於時間關係,這些基礎的知識還沒有寫,敬請期待!
對於無向圖,它的聯合概率可以表示為:
(1) p(
y)=1
z∏cψ
(yc)
p(y) = \frac\prod_c\psi(y_) \tag
p(y)=z
1c∏
ψ(y
c)(
1)其中:
接下來我們開始正式切入條件隨機場,如上圖所示y
yy為狀態序列,x
xx為輸入序列,y
yy之間是無向的。由於條件隨機場(一般都是指線性條件隨機場)也屬於無向圖,則對於狀態序列y
yy,注意這裡的狀態序列雖然是時間序列,但是卻是無向的,則狀態序列的聯合概率分布(注意:無向圖只是指狀態序列的關係,不包含輸入x
xx)為:
(3) p(
y∣x)
=1ze
∑c−e
(yc)
=1zexp∑
cf(y
c)p(y|x)=\frac e^=\frac \exp^ \tag
p(y∣x)
=z1
e∑c
−e(y
c)=
z1exp∑c
f(y
c)(
3)其中:
將(6)代入(4)中得到:
(7) p(
y∣x)
=1zexp∑
t=1t
(∑j=
1jλj
fj(y
t,x)
+∑k=
1kηk
gk(y
t−1,
yt,x
))p(y|x)=\frac\exp^^ (\sum_^\lambda_j f_j(y_t,x) + \sum_^\eta_k g_k(y_,y_t,x) )} \tag
p(y∣x)
=z1
exp∑t=
1t(
∑j=1
jλj
fj
(yt
,x)+
∑k=1
kηk
gk
(yt−
1,y
t,x
))(7
)為了更加簡潔一些,我們約定一些表示式,
條件隨機場CRF
條件隨機場 crf 是給定一組輸入隨機變數x的條件下另一組輸出隨機變數y的條件概率分布模型,其特點是假設輸出隨機變數構成馬爾科夫隨機場。實際上是定義在時序資料上的對數線性模型。條件隨機場屬於判別模型。概率圖模型是由無向圖表示的聯合概率分布,概率無向圖模型的最大特點是易於因子分解。團 無向圖g中任何兩...
CRF條件隨機場
crf即條件隨機場 conditional random fields 是在給定一組輸入隨機變數條件下另外一組輸出隨機變數的條件概率分布模型,它是一種判別式 理解一些和生成模型的區別 的概率無向圖模型,既然是判別式,那就是對條件概率分布建模。一 概率無向圖模型 概率無向圖模型是由無向圖表示的聯合概率...
條件隨機場(CRF)及CRF 安裝使用
這個,終於到了要解決命名實體識別的問題,搞自然語言處理,貌似這個繞不開的。crf,傳統的幹這活的利器,聽名字就是高大上。既然繞不開,那就整整吧。crf是用來標註和劃分序列結構資料的概率化結構模型。言下之意,就是對於給定的輸出,標識序列y和觀測序列x,條件隨機場通過定義條件概率p y x 而不是聯合概...