隱馬爾科夫模型HMM

2021-10-06 11:39:19 字數 1763 閱讀 7341

隱馬爾科夫模型

hmm的兩個基本假設

hmm可以解決的問題

​ 隱馬爾可夫模型是統計模型,它用來描述乙個含有隱含未知引數的馬爾科夫過程。其難點是從可觀測的引數中確定該過程的隱含引數,然後利用這些隱含的函式來做進一步的分析,例如模式識別。

​ 隱馬爾可夫模型是馬爾科夫模型中的一種,他的狀態不能直接觀測到,但是能夠通過可觀測向量觀測到,每個觀測向量都是通過某些概率密度分布表現為各種狀態,每個觀測向量是由乙個具有相應概率密度分布的狀態序列產生。所以,隱馬爾可夫模型是乙個雙重隨機過程-----具有一定狀態數的隱馬爾可夫鏈和顯示隨機函式集。

​ 隱馬爾可夫hmm可以看作是最簡單的動態貝葉斯網路。

​ 在馬爾科夫模型中狀態時不能直接可見的,但是輸出依賴於該狀態下,是可見的。

​ 這些狀態之間滿足馬爾科夫性質,是馬爾科夫模型中實際隱含的狀態,這些狀態通常無法直接觀測而得到。

​ 在模型中跟隱藏狀態直接相連,可通過觀測直接得到。(可觀測狀態的數目不一定跟隱藏狀態的數目一致)

​ 表示隱藏狀態在初始時刻t=1的概率矩陣

​ 表示隱藏層的各個狀態之間的轉移概率,aij = p(sj|si)表示前乙個時刻t-1的隱藏狀態下si,t時刻的狀態sj的概率

​ 表示從隱藏狀態到觀測狀態的概率, bij = p(oi|sj), 1<=i<=m, 1<=j<=n, 表示在t時刻,隱藏狀態sj的條件下,觀測狀態oi的概率

​ 綜上,狀態轉移概率矩陣a和初始狀態概率向量π確定了隱藏的馬爾科夫鏈,生成不可觀測的隱藏狀態序列,觀測概率矩陣b確定了如何從隱藏狀態生成可觀測序列。

​ 一般可用λ=(a,b,π)三元組來簡潔表示乙個hmm模型;hmm模型是標準馬爾科夫模型的擴充套件,新增了可觀測狀態集合和這些集合與隱含狀態之間的概率關係。

​ 假設隱藏狀態的馬爾科夫鏈在任意時刻t 的狀態只依賴於其前乙個時刻的狀態,與其他時刻的狀態無關

p(qt|qt-1, ot-1, ..., q1, o1) = p(qt|qt-1), t=1,2,...,t
​ 任意時刻的觀測只依賴於該時刻的馬爾科夫鏈的狀態,與其他的觀測和狀態無關

p(ot|qt, ot, qt-1, ot-1, ..., q1, o1) = p(ot|qt)
hmm的概率圖如下:

給定觀測序列o(o1,o2,…,ot)和模型的引數λ=(a,b,π) ,怎樣有效計算某乙個觀測序列的概率,進而可對該hmm模型進行評估。例如:有一些模型引數各異的hmm,給定觀測序列o,我們想知道哪個hmm模型是最可能生成該觀測序列。通常我們利用formard演算法分別計算每個hmm產生給定觀測序列的o的概率,然後從中選擇最優的hmm

這類評估問題的乙個經典例子就是語音識別。在描述語音識別的隱馬爾可夫模型中,每個單詞生成乙個對應的hmm,每個觀測序列由乙個單詞的語音構成,單詞的識別是通過評估進而選出最有可能產生觀測序列所代表的的讀音的hmm而實現的

給定乙個觀測序列o和模型的引數λ=(a,b,π) ,怎樣尋找某種意義上的最優的隱藏狀態序列。在這類問題中,我們感興趣的是馬爾科夫模型中的隱藏狀態,這些隱藏狀態不能直接觀測但是卻更有價值,通常利用viterbi演算法來尋找。

該問題的實際例子就是中文分詞,即把乙個詞如何劃分才合適。例如:句子「發展中國家」是劃分出「發展,中,國家」,還是「發展-中國-家」。這個問題可以用hmm模型來解決。句子的分詞方法可以看作是隱含狀態,而句子則可看作是給定的觀測狀態,從而通過hmm來尋找最可能正確的分詞方法。

即hmm的模型引數λ=(a,b,π) 未知,如何調整這些引數使得觀測序列o的概率盡可能的大。即怎樣調整模型引數λ=(a,b,π) 使觀測序列的o的概率最大

隱馬爾科夫模型HMM

我們通常都習慣尋找乙個事物在一段時間裡的變化規律。在很多領域我們都希望找到這個規律,比如計算機中的指令順序,句子中的詞順序和語音中的詞順序等等。乙個最適用的例子就是天氣的 首先,本文會介紹聲稱概率模式的系統,用來 天氣的變化 然後,我們會分析這樣乙個系統,我們希望 的狀態是隱藏在表象之後的,並不是我...

隱馬爾科夫 HMM 模型

隱馬爾科夫 hidden markov model 模型是一類基於概率統計的模型,是一種結構最簡單的動態貝葉斯網,是一種重要的有向圖模型。自上世紀80年代發展起來,在時序資料建模,例如 語音識別 文字識別 自然語言處理等領域廣泛應用。隱馬爾科夫模型涉及的變數 引數眾多,應用也很廣泛,以至於很多人不明...

HMM隱馬爾科夫模型

問題 講講hmm隱馬爾科夫模型 1 隱馬爾科夫模型是關於時序的概率模型,是由乙個隱藏的馬爾科夫鏈隨機生成不可觀測的隨機狀態序列,並由各個狀態生成乙個觀測而產生觀測隨機序列的過程。統計學習方法 cha10 概念解釋 馬爾可夫鏈 一階馬爾可夫過程,即未來狀態僅與當前狀態有關,與過去無關。馬爾可夫過程 狀...