隱馬爾可夫模型

隱

馬爾可夫模型

（hidden markov model，hmm）作為一種統計分析模型，創立於20世紀70年代。80

年代得到了傳播和發展，成為訊號處理的乙個重要方向，現已成功地用於語音識別

，行為識別，文字識別以及故障診斷等領域。

隱馬爾可夫模型是馬爾可夫鏈的一種，它的狀態不能直接觀察到，但能通過觀測向量序列觀察到，每個觀測向量都是通過某些概率密度分布表現為各種狀態，每乙個觀測向量是由乙個具有相應概率密度分布的狀態序列產生。所以，隱馬爾可夫模型是乙個雙重隨機過程----具有一定狀態數的隱馬爾可夫鏈和顯示隨機函式集。自20世紀80年代以來，hmm被應用於語音識別，取得重大成功。到了90年代，hmm還被引入計算機文字識別和移動通訊核心技術「多使用者的檢測」。近年來，hmm在生物資訊科學、故障診斷等領域也開始得到應用。

隱馬爾可夫

模型（hmm）可以用五個元素來描述，包括2個狀態集合和3個概率矩陣：

1. 隱含狀態 s

這些狀態之間滿足馬爾可夫性質，是馬爾可夫模型中實際所隱含的狀態。這些狀態通常無法通過直接觀測而得到。（例如s1、s2、s3等等)

2. 可觀測狀態 o

在模型中與隱含狀態相關聯，可通過直接觀測而得到。(例如o1、o2、o3等等，可觀測狀態的數目不一定要和隱含狀態的數目一致。）

3. 初始狀態概率矩陣 π　

表示隱含狀態在初始時刻t=1的概率矩陣，(例如t=1時，p(s1)=p1、p(s2)=p2、p(s3)=p3，則初始狀態概率矩陣 π=[ p1 p2 p3 ].

4. 隱含狀態轉移概率矩陣 a。

描述了hmm模型中各個狀態之間的轉移概率。

其中aij = p( sj | si ),1≤i,,j≤n.

表示在 t 時刻、狀態為 si 的條件下，在 t+1 時刻狀態是 sj 的概率。

5. 觀測狀態轉移概率矩陣 b （英文名為confusion matrix，直譯為混淆矩陣不太易於從字面理解）。

令n代表隱含狀態數目，m代表可觀測狀態數目，則：

bij = p( oi | sj ), 1≤i≤m,1≤j≤n.

表示在 t 時刻、隱含狀態是 sj 條件下，觀察狀態為 oi 的概率。

總結：一般的，可以用λ=(a,b,π)三元組來簡潔的表示乙個隱馬爾可夫模型。隱馬爾可夫模型實際上是標準馬爾可夫模型的擴充套件，新增了可觀測狀態集合和這些狀態與隱含狀態之間的概率關係。

應用hmm通常解決的3類基本問題

1. 評估問題。

給定觀測序列 o=o1o2o3…ot和模型引數λ=(a,b,π)，怎樣有效計算某一觀測序列的概率，進而可對該hmm做出相關評估。例如，已有一些模型引數各異的hmm，給定觀測序列o=o1o2o3…ot，我們想知道哪個hmm模型最可能生成該觀測序列。通常我們利用forward演算法分別計算每個hmm產生給定觀測序列o的概率，然後從中選出最優的hmm模型。

這類評估的問題的乙個經典例子是語音識別。在描述語言識別的隱馬爾科夫模型中，每個單詞生成乙個對應的hmm，每個觀測序列由乙個單詞的語音構成，單詞的識別是通過評估進而選出最有可能產生觀測序列所代表的讀音的hmm而實現的。

2.解碼問題

給定觀測序列 o=o1o2o3…ot和模型引數λ=(a,b,π)，怎樣尋找某種意義上最優的隱狀態序列。在這類問題中，我們感興趣的是馬爾科夫模型中隱含狀態，這些狀態不能直接觀測但卻更具有價值，通常利用viterbi演算法來尋找。

這類問題的乙個實際例子是中文分詞，即把乙個句子如何劃分其構成才合適。例如，句子「發展中國家」是劃分成「發展-中-國家」，還是「發展-中國-家」。這個問題可以用隱馬爾科夫模型來解決。句子的分詞方法可以看成是隱含狀態，而句子則可以看成是給定的可觀測狀態，從而通過建hmm來尋找出最可能正確的分詞方法。

3. 學習問題。

即hmm的模型引數λ=(a,b,π)未知，如何調整這些引數以使觀測序列o=o1o2o3…ot的概率盡可能的大。通常使用baum-welch演算法以及reversed viterbi演算法解決。

怎樣調整模型引數λ=(a,b,π)，使觀測序列 o=o1o2o3…ot的概率最大？

基本演算法

針對以上三個問題，人們提出了相應的演算法

*1 評估問題：向前向後演算法

*2 解碼問題： viterbi演算法

*3 學習問題： baum-welch演算法

隱馬爾可夫模型

隱馬爾可夫模型

隱馬爾可夫模型

隱馬爾可夫模型

相關推薦