定義設
是乙個隨機過程,如果
在 t0
時刻所處的狀態已知,它在時刻
t>t0
所處的狀態的條件分布與其在 t0
之前所處的狀態無關。
通俗地說,就是在知道過程現在的條件下,其將來的條件分布不依賴於過去,則稱 隨機過程
具有馬爾可夫(markov)性
是乙個隨機過程,若其滿足馬爾可夫性,則稱其為馬爾可夫過程
時間和狀態都是離散的馬爾可夫過程稱為馬爾可夫鏈。
其馬爾可夫性可以表示為:對 ∀
n≥2 , ∀t
1<..>.∈t
, i1
,i2,
...,
in∈s
, 有下式成立: p(
x(tn
)=in
|x(t
1)=i
1,x(
t2)=
i2,.
..,x
(tn−
1)=i
n−1)
=p(x
(tn)
=in|
x(tn
−1)=
in−1
) 也就是說當前狀態只與前一時刻的狀態有關。
定義稱條件概率 pi
j(n)
=p為馬爾可夫鏈
在時刻
n 的一步轉移概率,簡稱為轉移概率,其中 i,
j∈s。
若對任意的 i,
j∈i , 馬爾可夫鏈
的轉移概率 pi
j(n)
與 n 無關,則稱該馬爾可夫鏈是齊次的,並記 pi
j(n)
為 pij
。齊次馬爾可夫鏈的狀態轉移(概率)矩陣為: p=
⎡⎣⎢p
11p21…
p12p22
…………
⎤⎦⎥
狀態轉移矩陣滿足以下性質
(1) pi
j≥0,
∀i,j
∈s(2) ∑j
∈spi
j=1,
∀i∈s
社會學家通常按經濟狀況將人分成三類:下層(lower-class),中層(middle-class)和上層(upper-class)。我們用1,2,3分別代表這三個階層。社會學家發現決定乙個人所屬階層最重要的因素是其父母所屬的階層。從父代到子代,其階層變化的轉移概率如下所示:
可以用馬爾可夫鏈來進行建模,其狀態轉移矩陣為 p=
⎡⎣⎢0.65
0.15
0.12
0.28
0.67
0.36
0.07
0.18
0.52⎤⎦
⎥ 假設當前某人處在下層、中層、上層的概率分別為 π0
(1) , π0
(2) , π0
(3) . 記 π0
=[π0
(1),
π0(2
),π0
(3)]
為馬爾可夫鏈的初始概率分布。則該人的子女屬於各階層的概率分布為 π1
=π0p
,其子女的子女的所屬階層的概率分布為 π2
=π1p
=π0p
2 ,,,以此類推其第
n 代子孫的所屬階層的概率分布為 πn
=π0p
n。若當前此人屬於上層,對應的初始概率分布為 π0
=[0,
0,1]
,可以計算出其第
n 代子孫所屬階層的概率分布如下:
可以發現從第13代開始,這個分布就穩定不變了。實際上,從任意初始概率分布開始都會穩定到上面這個概率分布。
[馬氏鏈定理]如果乙個非週期馬爾可夫鏈的轉移矩陣為
p,且它的任何兩個狀態是連通的,那麼
limn→∞
pnij
存在且與
i 無關,記
limn→∞
pnij
=π(j
),我們有
limn→∞
pnij
=⎡⎣⎢
⎢⎢⎢⎢
⎢π(1
)π(1
)…π(
1)…π
(2)π
(2)…
π(2)
…………
……π(
j)π(
j)…π
(j)…
…………
…⎤⎦⎥
⎥⎥⎥⎥
⎥ π(
j)=∑
i=0∞
π(i)
pij
π 是方程 πp
=π的唯一非負解。其中 π=
[π(1
),π(
2),…
,π(j
),…]
,∑i=
0∞π(
i)=1
則稱 π 為馬爾可夫鏈的平穩分布。
注:存在穩態分布要求馬爾可夫鏈是連通的(沒有孤立點),同時不存在乙個連通子圖是沒有對外的出邊的(像黑洞一樣)。
[細緻平穩條件] 如果非週期馬爾可夫鏈的轉移矩陣
p 和分布
π滿足 π(
i)pi
j=π(
j)pj
i,∀i
,j則
π 是馬爾可夫鏈的平穩分布。
這個定理是顯而易見的,因為細緻平穩條件的物理含義就是對於任何兩個狀態 i,
j ,從
i 轉移出去到
j而丟失的概率質量,恰好會被從
j 轉移回來到
i的概率質量補充,所以狀態
i 上的概率質量 π(
i)是穩定的,從而
π 是馬爾可夫鏈的平穩分布。數學上的證明也很簡單,由細緻平穩條件可得: ∑i
=1∞π
(i)p
ij=∑
i=1∞
π(j)
pji=
π(j)
∑i=1
∞pji
=π(j
)⇒πp
=π由於
π 是方程 πp
=π的解,所以
π 是平穩分布。
馬氏定理和細緻平穩條件非常重要,是mcmc(markov chain monte carlo) 方法的基礎
馬爾可夫鏈
馬爾可夫鏈,因安德烈 馬爾可夫 a.a.markov,1856 1922 得名,是指數學中具有馬爾可夫性質的離散事件 隨機過程 該過程中,在給定當前知識或資訊的情況下,過去 即當前以前的歷史狀態 對於 將來 即當前以後的未來狀態 是無關的。x1,x2,x3.馬爾可夫鏈 markov chain 描述...
馬爾可夫鏈
1.馬氏性 未來的狀態值只與當前狀態有關,與前面的狀態無關,具體為 2.時變性 就是指轉移概率僅僅與時間間隔寬度有關,和時間始點終點無關。m 步 轉移到狀態j 的轉移概率。例 某計算機機房的一台計算機經常出故障,研究者每隔15 分鐘觀察一次計算 機的執行狀態,收集了24 小時的資料 共作97 次觀察...
馬爾可夫鏈
馬爾可夫鏈簡單介紹 1.下一狀態的概率分布只能由當前狀態決定。在馬爾可夫鏈的每一步,系統根據概率分布,可以從乙個狀態變到另乙個狀態,也可以保持當前狀態。狀態的改變叫做轉移,與不同的狀態改變相關的概率叫做轉移概率。2.當 3.細緻平穩條件 單純形向量 給定乙個馬爾科夫鏈,分布 pi 和概率轉移矩陣p,...