馬爾科夫鏈，是數學中具有馬爾科夫性質的離散事件隨機過程。該過程中，在給定當前知識和資訊的情況下，過去（即當前以前的歷史狀態）對於**將來（即當前以後的未來狀態）是無關的；
一、馬爾科夫性質-原理簡潔
x1,x2,x3…馬爾科夫鏈：描述了乙個狀態序列，其每個狀態值取決於前面有限個狀態。馬爾科夫鏈是具有馬爾科夫性質的隨機變數的乙個數列。這些變數的變化範圍，即它們所有可能取值的集合，被稱為「狀態空間」，而xn的值表示在時間n的狀態。如果xn+1對於過去狀態的條件概率分布僅是xn的乙個函式，則：
p(xn+1=x|x1=x1,x2=x2,...,xn=xn)=p(xn+1=x|xn=xn)二、理論延伸
蒙特卡洛方法：
隱馬爾科夫模型：
三、定義
馬爾可夫性：設是乙個隨機過程，如果在t0時刻所處的狀態為已知時，與它在時刻 t0 之前所處的狀態無關，則稱具有馬爾可夫性
馬爾科夫過程：設的狀態空間為s,如果對於任意的n≧2,任意的t1
馬爾科夫鏈
x 0,x 1,x n n 表示時間，如果 x 0,x n 都是獨立的，那麼這個假設限制性太大，不能對現實世界建模。而如果 x 0,x n 彼此可以任意互動影響，那麼模型太難計算。馬爾科夫鏈是單步影響 one step dependence 的序列，乙個折中的假設。馬爾科夫鏈存在時間和空間中，x n...
馬爾科夫過程，馬爾科夫獎勵過程和馬爾科夫決策過程
馬爾科夫決策過程是強化學習中的乙個基本框架，用來表示agent與環境的互動過程 agent觀測得到環境的當前狀態之後，採取動作，環境進入下乙個狀態，agent又得到下乙個環境狀態的資訊，形成乙個迴圈迴路。在理解馬爾科夫決策過程之前，首先要理解馬爾科夫 馬爾科夫獎勵過程。1.馬爾科夫過程 滿足馬爾科夫...
通俗理解馬爾科夫鏈
這裡 馬爾可夫鏈 markov chain 無記憶性概率圖模型 它是隨機過程中的一種過程，乙個統計模型，到底是哪一種過程呢？好像一兩句話也說不清楚，還是先看個例子吧。隨機過程可簡單理解成比隨機變數多了乙個引數維度，而該引數一般是時間。即 隨機變數 x w r 隨機過程x w，u r，其中u一般為t ...