關於隱馬爾科夫模型

2021-08-18 02:00:12 字數 2108 閱讀 1664

常常用於分詞、詞性標註、命名實體識別等問題序列標註問題。

一、什麼是隱馬爾科夫模型

隱馬爾科夫模型是關於時序的概率模型,描述乙個隱藏的馬爾科夫鏈隨機生成不可觀測的狀態隨機序列,再由各個狀態生成乙個狀態觀測而產生觀測隨機序列的過程。

隱藏的馬爾科夫鏈隨機生成的狀態的序列,稱為狀態序列;每個狀態生成乙個觀測,而由此產生的觀測隨機序列稱為觀測序列

序列的每乙個位置又可以看作成乙個時刻。

設q是所有可能狀態的集合,v是所有可能的觀測的集合。

其中,n是可能的狀態數,m是可能的觀測數。

狀態q是不可見的,狀態v是可見的。

應用到詞性標註問題時,v代表詞語,是可以觀測到的。q代表我們將要**的詞性(乙個詞可能有多個詞性)是隱含的狀態。

應用到分詞問題,v代表詞語,是可以觀察的。q代表我們的標籤(b,e這些標籤代表乙個詞的開始於或者中間)。

應用到命名實體識別中,v代表詞語,是可以觀察的。q代表我們的標籤(標籤代表地點詞,時間詞這些)。

i是長度為t的狀態序列,o是對應的觀測序列。

我們可以看做是給定了乙個詞(o)和詞性(i)的訓練集,或者乙個詞(o)和分詞標籤(i)的訓練集,有了訓練資料,再通過訓練演算法就可以得到解決問題。

我們繼續定義a為狀態轉移概率矩陣

其中是在時刻t處於狀態qi的條件下在狀態t+1轉移到qj的概率。b是觀測概率矩陣

其中,是在時刻t處於狀態qj的情況下生成觀測vk的概率(也就是所謂的「發射概率」與「生成概率」其實是乙個概念

假設π是廚師概率向量:

其中,隱馬爾科夫模型由廚師狀態概率向量π狀態轉移概率矩陣a概率**矩陣b決定。π和a決定狀態序列,b決定觀測序列。因此,隱馬爾科夫模型可以用三元符號表示,如下

加上狀態集合q與觀測序列v,構成了hmm所有需要的條件。

二、隱馬爾科夫鏈的三個基本問題:

1.概率計算問題。

給定模型

用python描述這個模型,如下:

在這段**中,start_probability(π)代表了醫生對患者首次訪問時hmm所處的狀態的信念(他知道患者往往是健康的,所以健康比不健康大)。

transition_probability表示基礎markov鏈中健康狀況的變化。在這個例子中,今天只有30%的機會,如果他今天健康,病人會發燒。發射概率表示患者每天感受的可能性。如果他健康,那麼有50%的機會感覺正常;如果他有發燒,那麼有60%的機會感到頭昏眼花。

第乙個問題是求,給定模型的情況下,求某種觀測序列出現的概率。

比如,給定的hmm模型引數已知,求出三天觀察是(dizzy,cold,normal)的概率是多少?

對應的hmm模型引數已知的意思,就是說的a,b,pi矩陣是已經知道的。

2.學習問題

已知觀測序列o=(o1,o2,o3,......,or),估計模型λ引數,使得在該模型下觀測序列概率最大,即

我們已經知道了觀測序列是(dizzy,cold,normal),需要求出hmm的引數問題(使得我們的觀測序列出現概率最大)。也就是我們上面說的a,b,pi三個矩陣引數。

3.**問題

我們知道了觀測序列是(dizzy,cold,normal),也知道了hmm的引數,讓我們求出造成這個觀測序列最有可能對應的狀態序列。比如說是(healthy,healthy,fever)還是(healthy,healthy,healthy),等等,這裡有3的3次方27種可能~

馬爾科夫模型與隱馬爾科夫模型

隨機過程 是隨時間而隨機變化的過程。又稱為隨機函式。馬爾科夫模型 vmm 它描述了一類重要的隨機過程。乙個系統有有限個狀態集s 隨時間推移,該系統將同某一狀態轉移到另一狀態。q s1,s2,sn 為一隨機變數序列,隨機變數取值為狀態集s中的乙個狀態,設時間t時狀態為qt。對系統的描述通常是給出當前時...

隱馬爾科夫模型

隱馬爾科夫 hiddenmarkov model 簡稱為hmm,hmm資料相當豐富,推薦參見 hmm學習最佳範例與崔曉源的部落格 一文,本文只對hmm進行簡要介紹,然後說明開源ghmm實現在linux環境的搭建,hmm的開源實現有眾多不同語言的實現。馬爾科夫模型 一階馬爾科夫模型假設為 1 t l時...

隱馬爾科夫模型

一 介紹 introduction 我們通常都習慣尋找乙個事物在一段時間裡的變化模式 規律 這些模式發生在很多領域,比如計算機中的指令序列,句子中的詞語順序和口語單詞的因素修咧等等,事實上任何領域中的一系列事件都有可能產生有用的模式。考慮乙個簡單的例子,有人試圖通過一片海藻推斷天氣 民間傳說告訴我們...