隱馬爾科夫模型,hidden markov model,簡稱hmm,是乙個比較經典的機器學習模型。它在語言識別,自然語言處理,模式識別等領域得到廣泛的應用。當然,隨著目前深度學習的崛起,尤其是rnn, lstm等神經網路序列模型的火熱,hmm的地位有所下降。
隱馬爾可夫模型 (hidden markov model) 是一種統計模型,用來描述乙個含有隱含未知引數的馬爾可夫過程。它是結構最簡單的動態貝葉斯網,這是一種著名的有向圖模型。
在馬爾可夫模型中,我們知道,想推算天氣只需要根據前一天的概率轉換圖來推算就行了
而隱馬爾可夫模型中,我們還是想推算天氣,如果我們並不知道今天的天氣屬於什麼狀況,我們只知道今明後三天的水藻的乾燥濕潤狀態,因為水藻的狀態和天氣有關,我們想要通過水藻來推測這三天的真正的天氣會是什麼,這個時候就用hidden markov 模型來描述。
我們想推算的東西,並不能直接觀測到,而是根據另一種我們可見的觀測的東西去推算
例二假設我們有3個盒子,每個盒子裡都有紅色和白色兩種球,這三個盒子裡球的數量分別是:
按照下面的方法從盒子裡抽球,開始的時候,從第乙個盒子抽球的概率是0.2,從第二個盒子抽球的概率是0.4,從第三個盒子抽球的概率是0.4。以這個概率抽一次球后,將球放回。然後從當前盒子轉移到下乙個盒子進行抽球。規則是:如果當前抽球的盒子是第乙個盒子,則以0.5的概率仍然留在第乙個盒子繼續抽球,以0.2的概率去第二個盒子抽球,以0.3的概率去第三個盒子抽球。如果當前抽球的盒子是第二個盒子,則以0.5的概率仍然留在第二個盒子繼續抽球,以0.3的概率去第乙個盒子抽球,以0.2的概率去第三個盒子抽球。如果當前抽球的盒子是第三個盒子,則以0.5的概率仍然留在第三個盒子繼續抽球,以0.2的概率去第乙個盒子抽球,以0.3的概率去第二個盒子抽球。如此下去,直到重複三次,得到乙個球的顏色的觀測序列:
o=注意在這個過程中,觀察者只能看到球的顏色序列,卻不能看到球是從哪個盒子裡取出的。
那麼按照我們上一節hmm模型的定義,我們的觀察集合是:
v=,m=2
我們的狀態集合是:
q=,n=3
而觀察序列和狀態序列的長度為3.
初始狀態分布為:
π=(0.2,0.4,0.4)t
狀態轉移概率分布矩陣為:
觀測狀態概率矩陣為:
隱馬爾可夫模型HMM
隱馬爾科夫模型 hidden markov model,以下簡稱hmm 是比較經典的機器學習模型了,它在語言識別,自然語言處理,模式識別等領域得到廣泛的應用。隱馬爾可夫模型hmm 當然,隨著目前深度學習的崛起,尤其是rnn,lstm等神經網路序列模型的火熱,hmm的地位有所下降。但是作為乙個經典的模...
隱馬爾可夫模型(HMM)
概率圖模型是一類用圖來表達變數相關關係的概率模型。它以圖為表示工具,最常見的是用乙個結點表示乙個或一組隨機變數,結點之間的邊表示變數間的概率相關關係,即 變數關係圖 根據邊的性質不同,概率圖模型可大致分為兩類 第一類是使用有向無環圖表示變數間的依賴關係,稱為有向圖模型或貝葉斯網 第二類是使用無向圖表...
HMM隱馬爾可夫模型
詞性標註演算法有claws,但是計算要計算每一條路徑,所以效率很低,所有有人提出了hmm 維特比演算法 動態規劃思想 記錄區域性最優來計算詞性標註,效率提高,markov model最開始應用在語音識別,如今,在分詞 pos標註和統計機器翻譯都得到廣泛運用。描述一類重要的隨機過程,這隨機過程是隨時間...