馬爾科夫模型
不考慮動作 考慮動作狀態不完全可見 隱馬爾可夫模型(hmm) 不完全可觀察馬爾可夫決策過程(pomdp)
馬爾科夫鏈
狀態空間中經過從乙個狀態到另乙個狀態的轉換的隨機過程。該過程要求具備「無記憶」的性質：下一狀態的概率分布只能由當前狀態決定，在時間序列中它前面的事件均與之無關。
在馬爾可夫鏈的每一步，系統根據概率分布，可以從乙個狀態變到另乙個狀態，也可以保持當前狀態。狀態的改變叫做轉移，與不同的狀態改變相關的概率叫做轉移概率。（隨機漫步：每一步的狀態是在圖形中的點，每一步可以移動到任何乙個相鄰的點，在這裡移動到每乙個點的概率都是相同的（無論之前漫步路徑是如何的）。）
假設狀態序列為x1…xt-1,xt,xt+1…由馬爾科夫鏈定義可知，時刻xt+1的狀態只與xt有關，用數學公式來描述就是：p(x_(t+1)│x_1,〖⋯,x〗_t )=p(x_(t+1)│x_t )既然某一時刻狀態轉移的概率只依賴前乙個狀態，那麼只要求出系統中任意兩個狀態之間的轉移概率，這個馬爾科夫鏈的模型就定了。
狀態轉移矩陣
馬爾可夫鏈細緻平穩條件：馬爾科夫鏈要能收斂，需要滿足以下條件：
2.狀態間的轉移概率需要固定不變。
3.從任意狀態能夠轉變到任意狀態。
4.不能是簡單的迴圈，例如全是從x到y再從y到x。
以上是馬爾可夫鏈收斂的必要條件。
設單純型向量v=( v1…vn)，狀態轉移矩陣pnn，∑_(i=1)^n▒〖vi 〗= 1，且每一行p都為乙個單純型向量。
細緻平衡條件（detailed balance condition）：給定乙個馬爾科夫鏈，分布π和概率轉移矩陣p，如果下面等式成立:πipij=πjpji，則此馬爾科夫鏈具有乙個平穩分布，反之不一定成立。∑_(i=1)∞▒〖πipij=∑_(i=1)∞▒〖πjpji=πj∑_(i=1)^∞▒〖pji=πj〗〗〗
馬爾可夫鏈收斂性質：如果乙個非週期的馬爾可夫鏈收斂，有狀態轉移矩陣p，並且任何兩個狀態都是連通的，那麼lim┬(n→∞)〖p_ij^n 〗=πj；lim┬(n→∞)〖p_^n 〗=π_(mm)。
隱馬爾科夫模型
馬爾可夫決策過程
馬爾可夫隨機場
簡易版理解：
高階版理解：
馬爾科夫模型與隱馬爾科夫模型
隨機過程 是隨時間而隨機變化的過程。又稱為隨機函式。馬爾科夫模型 vmm 它描述了一類重要的隨機過程。乙個系統有有限個狀態集s 隨時間推移，該系統將同某一狀態轉移到另一狀態。q s1,s2,sn 為一隨機變數序列，隨機變數取值為狀態集s中的乙個狀態，設時間t時狀態為qt。對系統的描述通常是給出當前時...
馬爾科夫模型
2 馬爾科夫鏈 state transition matrix中，第i行表示狀態i轉移到其它狀態的概率，第j列表示其它狀態轉移到狀態j的概率。在上面的推導中，bold 是列向量，推導得到的 x 1 是 p t bold 如果 bold 是行向量，則 x 1 是 bold p 假設初始狀態是牛市的概率...
隱馬爾科夫模型
隱馬爾科夫 hiddenmarkov model 簡稱為hmm，hmm資料相當豐富，推薦參見 hmm學習最佳範例與崔曉源的部落格 一文，本文只對hmm進行簡要介紹，然後說明開源ghmm實現在linux環境的搭建，hmm的開源實現有眾多不同語言的實現。馬爾科夫模型 一階馬爾科夫模型假設為 1 t l時...