學習出處：
二、生成模式（generating patterns）
1、確定性模式（deterministic patterns）
考慮一套交通訊號燈，燈的顏色變化序列依次是紅色-紅色/黃色-綠色-黃色-紅色。這個序列可以作為乙個狀態機器，交通訊號燈的不同狀態都緊跟著上乙個狀態。
注意每乙個狀態都是唯一的依賴於前乙個狀態，所以，如果交通燈為綠色，那麼下乙個顏色狀態將始終是黃色——也就是說，該系統是確定性的。確定性系統相對比較容易理解和分析，因為狀態間的轉移是完全已知的。
2、非確定性模式（non-deterministic patterns）
為了使天氣那個例子更符合實際，加入第三個狀態——多雲。與交通訊號燈例子不同，我們並不期望這三個天氣狀態之間的變化是確定性的，但是我們依然希望對這個系統建模以便生成乙個天氣變化模式（規律）。
一種做法是假設模型的當前狀態僅僅依賴於前面的幾個狀態，這被稱為馬爾科夫假設，它極大地簡化了問題。顯然，這可能是一種粗糙的假設，並且因此可能將一些非常重要的資訊丟失。
當考慮天氣問題時，馬爾科夫假設假定今天的天氣只能通過過去幾天已知的天氣情況進行**——而對於其他因素，譬如風力、氣壓等則沒有考慮。在這個例子以及其他相似的例子中，這樣的假設顯然是不現實的。然而，由於這樣經過簡化的系統可以用來分析，我們常常接受這樣的知識假設，雖然它產生的某些資訊不完全準確。
乙個馬爾科夫過程是狀態間的轉移僅依賴於前n個狀態的過程。這個過程被稱之為n階馬爾科夫模型，其中n是影響下乙個狀態選擇的（前）n個狀態。最簡單的馬爾科夫過程是一階模型，它的狀態選擇僅與前乙個狀態有關。這裡要注意它與確定性系統並不相同，因為下乙個狀態的選擇由相應的概率決定，並不是確定性的。
下圖是天氣例子中狀態間所有可能的一階狀態轉移情況：
對於有m個狀態的一階馬爾科夫模型，共有m^2個狀態轉移，因為任何乙個狀態都有可能是所有狀態的下乙個轉移狀態。每乙個狀態轉移都有乙個概率值，稱為狀態轉移概率——這是從乙個狀態轉移到另乙個狀態的概率。所有的m^2個概率可以用乙個狀態轉移矩陣表示。注意這些概率並不隨時間變化而不同——這是乙個非常重要（但常常不符合實際）的假設。
下面的狀態轉移矩陣顯示的是天氣例子中可能的狀態轉移概率：
-也就是說，如果昨天是晴天，那麼今天是晴天的概率為0.5，是多雲的概率為0.375。注意，每一行的概率之和為1。
要初始化這樣乙個系統，我們需要確定起始日天氣的（或可能的）情況，定義其為乙個初始概率向量，稱為pi向量。
-也就是說，第一天為晴天的概率為1。
現在我們定義乙個一階馬爾科夫過程如下：
狀態：三個狀態——晴天，多雲，雨天。
pi向量：定義系統初始化時每乙個狀態的概率。
狀態轉移矩陣：給定前一天天氣情況下的當前天氣概率。
任何乙個可以用這種方式描述的系統都是乙個馬爾科夫過程。
3、總結
我們嘗試識別時間變化中的模式，並且為了達到這個目我們試圖對這個過程建模以便產生這樣的模式。我們使用了離散時間點、離散狀態以及做了馬爾科夫假設。在採用了這些假設之後，系統產生了這個被描述為馬爾科夫過程的模式，它包含了乙個pi向量（初始概率）和乙個狀態轉移矩陣。關於假設，重要的一點是狀態轉移矩陣並不隨時間的改變而改變——這個矩陣在整個系統的生命週期中是固定不變的。
隱馬爾科夫模型（二）
本文主要針對隱馬爾科夫模型的第乙個基本問題展開討論。問題是 給定乙個模型 我們希望估計任意給定觀測變數序列o o1o2 ot的概率。分析 我們是要估計p o 我們加入狀態序列q,那麼就可以得到 p o qp o,q 1 同時我們知道p o,q p o q p q 顯然等式的右邊是容易知道的，但是問題...
馬爾科夫模型與隱馬爾科夫模型
隨機過程 是隨時間而隨機變化的過程。又稱為隨機函式。馬爾科夫模型 vmm 它描述了一類重要的隨機過程。乙個系統有有限個狀態集s 隨時間推移，該系統將同某一狀態轉移到另一狀態。q s1,s2,sn 為一隨機變數序列，隨機變數取值為狀態集s中的乙個狀態，設時間t時狀態為qt。對系統的描述通常是給出當前時...
隱馬爾科夫學習四
出處 四 隱馬爾科夫模型 hidden markov models 1 定義 definition of a hidden markov model 乙個隱馬爾科夫模型是乙個三元組 pi,a,b 在狀態轉移矩陣及混淆矩陣中的每乙個概率都是時間無關的 也就是說，當系統演化時這些矩陣並不隨時間改變。實際...