**這裡
馬爾可夫鏈 （markov chain）——無記憶性概率圖模型
它是隨機過程中的一種過程，乙個統計模型，到底是哪一種過程呢？好像一兩句話也說不清楚，還是先看個例子吧。
隨機過程可簡單理解成比隨機變數多了乙個引數維度，而該引數一般是時間。即：先說說我們村智商為0的王二狗，人傻不拉幾的，見人就傻笑，每天中午12點的標配，仨狀態：吃，玩，睡。這就是傳說中的狀態分布。隨機變數 x(w)—>r
隨機過程x(w，u)—>r，其中u一般為t
你想知道他n天後中午12點的狀態麼？是在吃，還是在玩，還是在睡？這些狀態發生的概率分別都是多少？ （知道你不想，就假裝想知道吧~~學習真的好累~~）
先看個假設，他每個狀態的轉移都是有概率的，比如今天玩，明天睡的概率是幾，今天玩，明天也玩的概率是幾幾，還是先看個圖吧，更直觀一些。
有了這個矩陣，再加上已知的第一天的狀態分布，就可以計算出第n天的狀態分布了。
s1 是4月1號中午12點的的狀態分布矩陣 [0.6, 0.2, 0.2]，裡面的數字分別代表吃的概率，玩的概率，睡的概率。
那麼4月2號的狀態分布矩陣 s2 = s1 * p (倆矩陣相乘)。
4月3號的狀態分布矩陣 s3 = s2 * p (看見沒，跟s1無關，只跟s2有關)。
4月4號的狀態分布矩陣 s4 = s3 * p (看見沒，跟s1，s2無關，只跟s3有關)。
4月n號的狀態分布矩陣 sn = sn-1 * p (看見沒，只跟它前面乙個狀態sn-1有關)。
總結：馬爾可夫鏈就是這樣乙個任性的過程，它將來的狀態分布只取決於現在，跟過去無關！
就把下面這幅圖想象成是乙個馬爾可夫鏈吧。實際就是乙個隨機變數隨時間按照馬爾可夫性進行變化的過程。
馬爾科夫鏈
馬爾科夫鏈，是數學中具有馬爾科夫性質的離散事件隨機過程。該過程中，在給定當前知識和資訊的情況下，過去 即當前以前的歷史狀態 對於 將來 即當前以後的未來狀態 是無關的 一 馬爾科夫性質 原理簡潔 x1,x2,x3 馬爾科夫鏈 描述了乙個狀態序列，其每個狀態值取決於前面有限個狀態。馬爾科夫鏈是具有馬爾...
馬爾科夫鏈
x 0,x 1,x n n 表示時間，如果 x 0,x n 都是獨立的，那麼這個假設限制性太大，不能對現實世界建模。而如果 x 0,x n 彼此可以任意互動影響，那麼模型太難計算。馬爾科夫鏈是單步影響 one step dependence 的序列，乙個折中的假設。馬爾科夫鏈存在時間和空間中，x n...
馬爾科夫過程，馬爾科夫獎勵過程和馬爾科夫決策過程
馬爾科夫決策過程是強化學習中的乙個基本框架，用來表示agent與環境的互動過程 agent觀測得到環境的當前狀態之後，採取動作，環境進入下乙個狀態，agent又得到下乙個環境狀態的資訊，形成乙個迴圈迴路。在理解馬爾科夫決策過程之前，首先要理解馬爾科夫 馬爾科夫獎勵過程。1.馬爾科夫過程 滿足馬爾科夫...