基本概念
伯努利分布：又名兩點分布或者0-1分布，是乙個離散型概率分布。若伯努利試驗成功，則伯努利隨機變數取值為1；若伯努利試驗失敗，則伯努利隨機變數取值為0。記其成功概率為p，則失敗概率為
伯努利過程：是乙個由有限個或無限個的獨立隨機變數 x1, x2, x3 ,..., 所組成的離散時間隨機過程，其中 x1, x2, x3 ,...,
滿足如下條件：
對每個 i, xi 等於 0 或 1;
對每個 i, xi = 1 的概率等於 p.
換言之，伯努利過程是一列獨立同分布的伯努利試驗。每個xi 的2個結果也被稱為「成功」或「失敗」。所以當用數字 0 或 1
來表示的時候，這個數字被稱為第i個試驗的成功次數。
與伯努利過程相關的隨機變數有：
前 n 個試驗的成功次數服從二項分布。
要得到 r 次成功所需要的試驗次數服從負二項分布。
要得到 1 次成功所需要的試驗次數服從幾何分布，這是負二項分布的乙個特例
（zh.wikipedia 2018）
伯努利分布及過程研究
首先確定一次拋擲硬幣試驗為基本研究物件，該試驗涉及到的隨機變數包括伯努利隨機變數（隨機變數是個對映）：
遂獲取多個研究單元，即重複多次拋擲試驗，統計多次試驗結果，通過試驗的方式研究隨機變數的統計性質。
實證試驗：
<1> 假設我們對硬幣一無所知，只是不停的拋擲硬幣；根據試驗結果記錄隨機變數的值； 計算統計量。
<2> 繪製隨機變數的分布圖，並由分布計算一些統計量。
具體試驗：
試驗結果：
下圖示展示了試驗的基本過程，就是連續的產生伯努利隨機數。
<1>對試驗過程進行分解研究，分解成下圖：
獲取了伯努利隨機變數的經驗分布，經分布得知 x="1"的出現頻率fq~=0.2，獲得了正面向上的概率的估計。
<2> 對試驗過程進行分解研究，以轉換為研究物件，分解成下圖：
對隨機變數x的統計，如下表：
「no」是對轉換，即隨機變數各取值的頻度統計，「prob"是乙個取值在所有取值的佔比，如從乙個0轉到1的變化佔所有變化的比例；"tran_prob"是從特定狀態轉移到另乙個狀態的條件概率，即所謂的轉移概率；最後的"distribution"就是乙個穩態概率，即如下圖的概率分布。不難看出狀態0和狀態1之間是獨立的。
如下圖隨機變數x (取值為不同轉換狀態)的經驗分布。
需要說明的是，我們若將整個過程當成研究單元的話，本部分相當於研究個體內部性質。
隨機過程狀態獨立性
伯努利過程：狀態之間的變換是獨立的
一階馬爾科夫過程：狀態之間變換是不獨立的
二階馬爾科夫過程 狀態之間變換是不獨立的
從上面的圖可以看出完全不同的過程最終都可以達到相同的穩態概率分布，馬爾科夫鏈階不同，引數不同 ，最終都有可達到相同的穩態分布 distribution:
。而且不同階的馬爾科夫鏈，都可以統計出，相同的一階轉移矩陣，這也就是說從轉移矩陣看不能分辨出階數目這種隱含資訊。馬爾科夫鏈中不同轉移之間確實不獨立。伯努利過程狀態之間獨立。
根據以上過程可以繪製出如下圖，看到這種圖不要想當然的認為就是馬爾科夫過程，這只是乙個概率圖表示而已：
馬爾科夫性驗證
馬爾科夫性的最終驗證主要是仰賴定義。本次研究的基本物件就是乙個個馬爾科夫鏈的例項化物件；一條定義好的馬爾科夫鏈可以產生許多鏈的例項，正如從乙個確定的概率分布中可以抽取許多個樣本例項一樣，如執行多次
generate_chain(p1=0.25,p2=0.43,chain_len=100000)，就可以產生多個鏈的例項，這與物件導向類與例項的關係相似，類可以例項化產生許多例項物件一樣。通過分析例項物件達到對類的認識。
<1> 對於給定的研究單位，可研究其上的隨機變數，本處以成功的次數為隨機變數，很顯然它符合乙個二項分布。
本例選擇長度為n=4的馬爾科夫鏈來研究。
<2> 根據定義對以上三個過程的馬爾科夫性進行驗證。
馬爾科夫鏈的核心假設是只要時刻n的狀態為i，不論過去發生了什麼，也不論鏈是如何到達狀態i的，下乙個時刻轉移到狀態j的概率就一定是轉移概率 p_ij
。數學上，馬爾科夫鏈的特徵稱為馬爾科夫性質，即滿足：對於任意時間n,對於任意的狀態 i,j∈s,以及任意之前可能的狀態序列 i_0，...，i_n-1,均有
p = p = p_ij
所以，下乙個狀態x_n+1的概率分布只依賴於前乙個狀態x_n
對於每個確定的狀態i，有 sum(p_i1,p_i2,p_i3,...，p_im)=1
(2ed,dimitri bertsekas,2008)
以上性質就是下乙個時間點的狀態的取值只與當前時間點的狀態的取值有關，與其他時間點無關；物件a,b無關，白話：就是不管你b怎麼變，a不會受b影響而發生改變！
使用乙個特定的馬爾科夫鏈類，產生多個例項，並通過對例項的分析，來證實某個馬爾科夫鏈是否具有某種性質(即某種不變形或共性或特徵)
a.伯努利過程馬爾科夫性驗證
b.一階馬爾科夫過程馬爾科夫性驗證
c.二階馬爾科夫過程馬爾科夫性驗證
通過以上實證分析，根據定義伯努利過程具有馬爾科夫性，可以說伯努利過程是馬爾科夫鏈的特例，只是相關性為0的情形，也就是說伯努利過程具有馬爾科夫鏈的性質，由於其特殊性，還具有馬爾科夫鏈不具有的性質，它的性質條件更嚴格而已。可以通過定義來對不同馬爾科夫鏈鏈進行分析，據此可知馬爾科夫鏈的具體型別，一階還是二階，或者根本就不符簡單的合馬爾科夫模型。
馬爾科夫鏈
馬爾科夫鏈，是數學中具有馬爾科夫性質的離散事件隨機過程。該過程中，在給定當前知識和資訊的情況下，過去 即當前以前的歷史狀態 對於 將來 即當前以後的未來狀態 是無關的 一 馬爾科夫性質 原理簡潔 x1,x2,x3 馬爾科夫鏈 描述了乙個狀態序列，其每個狀態值取決於前面有限個狀態。馬爾科夫鏈是具有馬爾...
馬爾科夫鏈
x 0,x 1,x n n 表示時間，如果 x 0,x n 都是獨立的，那麼這個假設限制性太大，不能對現實世界建模。而如果 x 0,x n 彼此可以任意互動影響，那麼模型太難計算。馬爾科夫鏈是單步影響 one step dependence 的序列，乙個折中的假設。馬爾科夫鏈存在時間和空間中，x n...
馬爾科夫模型與隱馬爾科夫模型
隨機過程 是隨時間而隨機變化的過程。又稱為隨機函式。馬爾科夫模型 vmm 它描述了一類重要的隨機過程。乙個系統有有限個狀態集s 隨時間推移，該系統將同某一狀態轉移到另一狀態。q s1,s2,sn 為一隨機變數序列，隨機變數取值為狀態集s中的乙個狀態，設時間t時狀態為qt。對系統的描述通常是給出當前時...