條件隨機場(crf)由lafferty等人於2023年提出，結合了最大熵模型和隱馬爾可夫模型的特點，是一種無向圖模型，常用於標註或分析序列資料，如自然語言文字或是生物序列。近年來在分詞、詞性標註和命名實體識別等序列標註任務中取得了很好的效果。
條件隨機場是一類最適合**任務的判別模型，其中相鄰的上下文資訊或狀態會影響當前**。crf 在命名實體識別、詞性標註、基因**、降噪和物件檢測問題等方面都有應用。
在本文中首先，將介紹與馬爾可夫隨機場相關的基本數學和術語，馬爾可夫隨機場是建立在 crf 之上的抽象。然後，將詳細介紹並解釋乙個簡單的條件隨機場模型，該模型將說明為什麼它們非常適合順序**問題。之後，將在 crf 模型的背景下討論似然最大化問題和相關推導。最後，還有乙個過對手寫識別任務的訓練和推理來演示 crf 模型。
馬爾可夫隨機場（markov random field）或馬爾可夫網路（ markov network）是一類在隨機變數之間具有無向圖的圖形模型。該圖的結構決定了隨機變數之間的相關性或獨立性。
馬爾可夫網路由圖 g = (v, e) 表示，其中頂點或節點表示隨機變數，邊表示這些變數之間的依賴關係。
該圖可以分解為 j 個不同的團（小的集團 cliques ）或因子（factors），每個由因子函式 φⱼ 支配，其範圍是隨機變數 dⱼ 的子集。對於 dⱼ 的所有可能值，φⱼ (dⱼ) 應該嚴格為正。
對於要表示為因子或團的隨機變數的子集，它們都應該在圖中相互連線。所有團的範圍的並集應該等於圖中存在的所有節點。
變數的非歸一化聯合概率是所有因子函式的乘積，即 對於上面顯示的 v = (a, b, c, d) 的 mrf，聯合概率可以寫為：
分母是每個變數可能取的所有可能的因子乘積的總和。它是乙個常數表示，也稱為配分函式，通常用z。
還可以通過對對數空間中的因子函式進行操作，將關節表示為gibbs 分布。使用 β (dⱼ) = log (ϕ (dⱼ))，可以用 gibbs 表示法表示共同的邊，如下所示。x 是圖中所有隨機變數的集合。β 函式也稱為factor potentials。
這個公式很重要，因為本文將在後面使用 gibbs 符號來推導似然最大化問題。
讓我們假設乙個馬爾可夫隨機場並將其分為兩組隨機變數 y 和 x。
條件隨機場是馬爾可夫隨機場的乙個特例，其中圖滿足以下屬性：「當我們在 x 全域性條件下，即 當x中隨機變數的值固定或給定時，集合y中的所有隨機變數都遵循馬爾可夫性質p(yᵤ/x,yᵥ,u≠v)=p(yᵤ/x,yₓ,yᵤ~yₓ )，其中 yᵤ ~ yₓ 表示 yᵤ 和 yₓ 是圖中的鄰居。」 變數的相鄰節點或變數也稱為該變數的馬爾可夫毯（markovblanket）。
滿足上述屬性的乙個這樣的圖是下面共享的鏈結構圖：
由於 crf 是乙個判別模型，即 它對條件概率 p (y / x) 進行建模，即 x 總是給出或觀察到。因此，該圖最終簡化為一條簡單的鏈。
當我們以 x 為條件並試圖為每個 xᵢ 找到相應的 yᵢ 時，x 和 y 也分別稱為證據變數和標籤變數。
驗證上面顯示的「因子縮減」crf模型符合下面為可變y₂所示的馬爾可夫屬性。由此可見，給定所有其他變數的y₂的條件概率最終只取決於相鄰節點。
滿足馬爾可夫性質的變數 y₂，條件僅取決於相鄰變數
完整文章：
條件隨機場CRF
條件隨機場 crf 是給定一組輸入隨機變數x的條件下另一組輸出隨機變數y的條件概率分布模型，其特點是假設輸出隨機變數構成馬爾科夫隨機場。實際上是定義在時序資料上的對數線性模型。條件隨機場屬於判別模型。概率圖模型是由無向圖表示的聯合概率分布，概率無向圖模型的最大特點是易於因子分解。團 無向圖g中任何兩...
CRF條件隨機場
crf即條件隨機場 conditional random fields 是在給定一組輸入隨機變數條件下另外一組輸出隨機變數的條件概率分布模型，它是一種判別式 理解一些和生成模型的區別 的概率無向圖模型，既然是判別式，那就是對條件概率分布建模。一 概率無向圖模型 概率無向圖模型是由無向圖表示的聯合概率...
條件隨機場CRF原理
對於crf一直很嚮往，專門花了一些時間去查詢資料，一步一步弄明白了crf的基本原理，下面把crf部分核心寫了出來，時間倉促，很多細節沒有寫出來，後續會慢慢完善。而且crf需要用到很多的基礎知識，比如無向圖 有向圖，判別式 生成式，最大團等等概念，所以想要徹底的理解crf，必須弄明白這些基礎知識。當然...