隱馬爾可夫模型

隱馬爾可夫模型的定義

隱馬爾可夫模型是關於時序的概率模型，描述由乙個隱藏的馬爾科夫鏈隨機生成不可檢測的狀態隨機序列（狀態序列），再由各個狀態生成乙個觀測而產生觀測隨機序列（觀測序列）。

隱馬爾可夫模型由初始概率分布、狀態轉移概率分布、觀測概率分布確定。

設\(q=\\)為狀態集合，\(v=\\)為觀測集合，n和m分別為狀態和觀測的數量。

設序列長度為t，則狀態序列和觀測序列分別為：

\[i=(i_1,i_2,...,i_t)

\\o=(o_1,o_2,...,o_t)

\]概率轉移矩陣為：

\[a=[a_]_

\]其中\(a_=p(i_=q_j|i_t=q_i)\)是在時刻t處於狀態\(q_i\)的條件下在時刻t+1轉移到狀態\(q_j\)的概率。

觀測概率矩陣為：

\[b=[b_j(k)]_

\]其中\(b_j(k)=p(o_t=v_k|i_t=q_j)\)是在時刻t處於狀態\(q_j\)的條件下生成觀測\(v_k\)的概率。

初始狀態概率向量：

\[\pi=(\pi_i)

\]其中，\(\pi_i=p(i_1=q_i)\)是時刻t=1處於狀態\(q_i\)的概率。

隱馬爾可夫模型\(\lambda\)由以上三要素決定，可以表示為：

\[\lambda=(a,b,\pi)

\]隱馬爾可夫模型的兩個基本假設：

隱馬爾可夫模型的三個基本問題：

概率計算問題

\[p(o|\lambda)=\sum_^n\alpha_t(i)\beta_t(i)

\\=\sum_^n\sum_^n\alpha_t(i)a_b_j(o_t+1)\beta_(j)

\\p(i_t=q_i,o|\lambda)=\alpha_t(i)\beta_t(i)

\\p(i_t=q_i|\lambda,o)=\frac

\\=\frac^n\alpha_t(i)\beta_t(i)}

\\p(i_t=q_i,i_=q_j|\lambda,o)=\frac=q_j,o|\lambda)}

\\=\fracb_j(o_)\beta_(j)}^n\sum_^n\alpha_t(i)a_b_j(o_)\beta_(j)}

\]學習問題

根據訓練資料是包括觀測序列和對應的狀態序列還是只有觀測序列，可以分別由監督學習和非監督學習實現。

因為要極大化的引數\(\pi,a,b\)單獨出現在三個項中，所以只需對各項分別極大化。

因為：\[\sum_i\log\pi_p(i,o|\overline\lambda)=\sum_^n\log\pi_ip(o,i_1=i|\overline\lambda)

\\\sum_^n\pi_i=1

\]於是利用拉格朗日乘子法並令偏導數等於0可以求得：

\[\pi_i=\frac

\]利用相同方法可以分別求得a和b，在此不再贅述，結果為：

\[a_=\frac^p(o,i_t=i,i_=j|\overline\lambda)}^p(o,i_t=i|\overline\lambda)}

\\b_j(k)=\frac^p(o,i_t=j|\overline\lambda)i(o_t=v_k)}^p(o,i_t=j|\overline\lambda)}

\]其中i為指示函式。

解碼問題

隱馬爾可夫模型

隱 馬爾可夫模型 hidden markov model，hmm 作為一種統計分析模型，創立於20世紀70年代。80 年代得到了傳播和發展，成為訊號處理的乙個重要方向，現已成功地用於語音識別 行為識別，文字識別以及故障診斷等領域。隱馬爾可夫模型是馬爾可夫鏈的一種，它的狀態不能直接觀察到，但能通過觀測...

隱馬爾可夫模型

對隱馬爾可夫模型的解釋，個人覺得一句簡單概括就是 在馬爾可夫鏈的情況下對每乙個狀態都加入乙個單獨輸出口，而我們把這個輸出口定為可視視窗，可把馬爾可夫鏈放到裡面藏起來。ok！這樣就是知道隱馬爾可夫模型的結構了。通過如下例子來說明hmm的含義。假定乙個暗室中有n個口袋，每個口袋中有m種不同顏色的球，乙個...

隱馬爾可夫模型

搖色子的比喻很好 它解釋了模型的概念 模型的n個狀態 s 對應於色子的種類 隱狀態 真實不可見狀態s的序列，是每次用的色子種類d4 d6 d8組成的序列 觀測狀態 o 是可見的狀態，這裡是色子搖出的點數 觀測概率 是當確定用d4 d6 d8搖的色子的種類，求產生某種點數的概率 如 d4產生點數1的概...