若每年要統計乙個城市極其郊區人口，像
，可以顯示60%住城市，40%住郊區，加起來是1；具有這種特性的向量稱為：概率向量；隨機矩陣是各列都是這樣的向量組成的方陣；
馬爾科夫鏈是乙個概率向量序列
，和乙個隨機矩陣p（
）例1：城市與郊區之間移動模型/隨機矩陣：
即每年有5%的城市人口流到郊區，3%的郊區人口留到城市；假設此城市2023年城市人口600000，郊區400000，則2023年人口：
例2：某國會選舉
隨機矩陣：
某次選舉結果:
如果這些隨機矩陣儲存不變，可以生成乙個序列關係，此關係構成乙個馬爾科夫鏈；
馬爾科夫鏈中的穩態向量：
若有這麼乙個向量q,p是乙個馬爾科夫鏈隨機矩陣：pq=q，即未來的概率結果和現在一樣，稱q為穩態向量；
如有城市人口移動的穩態向量作用於當前城市模型，則人口比例儲存不變；
馬爾科夫鏈
馬爾科夫鏈，是數學中具有馬爾科夫性質的離散事件隨機過程。該過程中，在給定當前知識和資訊的情況下，過去 即當前以前的歷史狀態 對於 將來 即當前以後的未來狀態 是無關的 一 馬爾科夫性質 原理簡潔 x1,x2,x3 馬爾科夫鏈 描述了乙個狀態序列，其每個狀態值取決於前面有限個狀態。馬爾科夫鏈是具有馬爾...
馬爾科夫鏈
x 0,x 1,x n n 表示時間，如果 x 0,x n 都是獨立的，那麼這個假設限制性太大，不能對現實世界建模。而如果 x 0,x n 彼此可以任意互動影響，那麼模型太難計算。馬爾科夫鏈是單步影響 one step dependence 的序列，乙個折中的假設。馬爾科夫鏈存在時間和空間中，x n...
馬爾科夫過程，馬爾科夫獎勵過程和馬爾科夫決策過程
馬爾科夫決策過程是強化學習中的乙個基本框架，用來表示agent與環境的互動過程 agent觀測得到環境的當前狀態之後，採取動作，環境進入下乙個狀態，agent又得到下乙個環境狀態的資訊，形成乙個迴圈迴路。在理解馬爾科夫決策過程之前，首先要理解馬爾科夫 馬爾科夫獎勵過程。1.馬爾科夫過程 滿足馬爾科夫...