工作學習中的一點體會——隱馬爾科夫模型 hmm(一)
一. 提綱
1) 假設
2) 模型
3) 五個引數
4) 解決三個問題
5) 三個方法
6) vertibe演算法
7) 改進
二.兩個假設
1、 馬爾科夫性假設: 乙個特定狀態的概率僅依賴於前一狀態
2、 齊次:觀測狀態的概率只依賴於產生這個觀測狀態的隱含狀態
三.模型
四.五個引數
1 初始矩陣
2、a 觀察序列
3、b 隱含序列
4、m 發射矩陣:隱含狀態到觀測狀態的概率矩陣
5、n 轉移矩陣:隱含狀態到隱含狀態的轉移概率矩陣
五.解決三個問題
1、評估問題:給定乙個觀察序列和五個引數,求觀測序列的概率
2、解碼問題:給定乙個觀察序列和引數,求最大概率的隱含序列
3、學習問題:給定乙個觀察序列,如何調整引數,使得概率最大?
六.三個方法
七.vertibe演算法
1.對於我們來說,一般我們需要的是求出最大隱含狀態,所以viterbi演算法是我們關心的(比如詞性標註,求一句話的詞性,這時候詞性就轉換為隱含狀態,當我們求出最大的隱含狀態序列,也就得到了最大的詞性序列)
2.viterbi 實際上是個動態規劃的過程
見(二)分析
八.改進
1、 針對假設改進
1) 當前狀態只和前一狀態相關,根據我們生活的經驗,當前的狀態不僅和前一狀態相關,可能還和前幾個狀態或者後面的狀態相關,所以我們可以做的改進之一就是把狀態的相關改為和前幾個狀態相關
2) 只依賴於當前的隱含狀態相關,同樣根據我們的經驗,我們也許還和一些其他因素相關,比如位置(比如我們把隱含狀態定義為詞的開頭,中間,結尾,那麼句子的開始也一定是詞的開頭)
2、 層疊的隱馬模型
中科院的幾篇**,就是先用隱馬模型訓練專有名詞後,又套了一層或幾層的隱馬模型。後來又應用在了層疊的條件隨機場,感覺都是乙個思路
3、 不同的模型,最大熵隱馬,條件隨機場
馬爾科夫模型與隱馬爾科夫模型
隨機過程 是隨時間而隨機變化的過程。又稱為隨機函式。馬爾科夫模型 vmm 它描述了一類重要的隨機過程。乙個系統有有限個狀態集s 隨時間推移,該系統將同某一狀態轉移到另一狀態。q s1,s2,sn 為一隨機變數序列,隨機變數取值為狀態集s中的乙個狀態,設時間t時狀態為qt。對系統的描述通常是給出當前時...
隱馬爾科夫模型
隱馬爾科夫 hiddenmarkov model 簡稱為hmm,hmm資料相當豐富,推薦參見 hmm學習最佳範例與崔曉源的部落格 一文,本文只對hmm進行簡要介紹,然後說明開源ghmm實現在linux環境的搭建,hmm的開源實現有眾多不同語言的實現。馬爾科夫模型 一階馬爾科夫模型假設為 1 t l時...
隱馬爾科夫模型
一 介紹 introduction 我們通常都習慣尋找乙個事物在一段時間裡的變化模式 規律 這些模式發生在很多領域,比如計算機中的指令序列,句子中的詞語順序和口語單詞的因素修咧等等,事實上任何領域中的一系列事件都有可能產生有用的模式。考慮乙個簡單的例子,有人試圖通過一片海藻推斷天氣 民間傳說告訴我們...