一：馬爾可夫過程在實際中的應用
markov過程是在理論上和實際應用中都 十分重要的一類隨機過程，它是由蘇聯 數學家a.a. markov(1856-1922)首次提 出並進行研究。至今已形成內容豐富、 理論完整、應用廣泛的一門數學分支。 特別地， markov過程在工程系統中的噪 聲和訊號分析、通訊網路的模擬、統計 物理學、生物學、數字計算方法、經濟 管理和市場**等領域中都有十分重要 的作用和廣泛的應用，它在人工智慧和 在人工神經網路中也有重要的應用。
本人正是讀了工信出版社的深度淺出強化學習才打算寫一篇關於馬爾可夫過程的博文。
一：馬爾可夫過程的分類
馬爾可夫過程按其狀態和時間可引數是連續,離散分為三類:
(1): 時間，狀態都是離散的馬爾可夫過程，稱馬爾可夫鏈
(2): 時間連續，狀態離散的馬爾可夫過程，稱為連續的馬爾可夫過程
(3):時間，狀態都是連續的馬爾可夫過程
二：馬爾可夫鏈的定義
時間和狀態都是離散的馬爾可夫過程稱為馬爾可夫鏈。
通過上面的數學推導可見，馬爾可夫鏈的馬爾可夫性可以表示為：
p也就是說當前狀態只與前乙個狀態有關，與其他狀態無關。
三： 轉移概率
條件概率p 的直觀含義為系統在時刻n處於狀態i的條件下，在時刻n+1下處於狀態j的概率。 記條件概率pij(n)
我們一般討論的馬爾可夫鏈都是齊次的馬爾可夫鏈。
馬爾可夫鏈
馬爾可夫鏈，因安德烈 馬爾可夫 a.a.markov，1856 1922 得名，是指數學中具有馬爾可夫性質的離散事件 隨機過程 該過程中，在給定當前知識或資訊的情況下，過去 即當前以前的歷史狀態 對於 將來 即當前以後的未來狀態 是無關的。x1,x2,x3.馬爾可夫鏈 markov chain 描述...
馬爾可夫鏈
定義設 是乙個隨機過程，如果 在 t0 時刻所處的狀態已知，它在時刻 t t0 所處的狀態的條件分布與其在 t0 之前所處的狀態無關。通俗地說，就是在知道過程現在的條件下，其將來的條件分布不依賴於過去，則稱 隨機過程 具有馬爾可夫 markov 性 是乙個隨機過程，若其滿足馬爾可夫性，則稱其為馬爾可...
馬爾可夫鏈
1.馬氏性 未來的狀態值只與當前狀態有關，與前面的狀態無關，具體為 2.時變性 就是指轉移概率僅僅與時間間隔寬度有關，和時間始點終點無關。m 步 轉移到狀態j 的轉移概率。例 某計算機機房的一台計算機經常出故障，研究者每隔15 分鐘觀察一次計算 機的執行狀態，收集了24 小時的資料 共作97 次觀察...