暑假前在cousera上學了第一課，貝葉斯統計方法的基本理論。
貝葉斯統計方法的基本理論，先驗概率，似然方程，後驗概率和共軛分布等已在第一課是都講過了。如果有興趣，可以看我之前的一篇文章，貝葉斯統計方法--思考方式的轉變。
馬爾可夫鏈蒙特卡洛方法，名字好可怕，但其實可以分解一下，馬爾可夫鏈➕蒙特卡洛方法。馬爾可夫鏈，大家應該比較熟悉，因為我是學通訊出生的，所以至少名字還是比較親切的。馬爾可夫鏈就是一連串發生的事件，當前事件只對前面乙個事件有依賴關係，從乙個狀態轉移到另外乙個狀態稱為轉移概率，如果事件可能性比較多，就需要轉移概率矩陣來表示。如果pi為事件的邊緣概率的，p為轉移概率矩陣，那麼馬爾可夫鏈最重要的特徵就是pi*p=pi.
那蒙特卡洛方法又是啥。蒙特卡洛方法是對於那些無法解決的數學方程，用隨機抽樣的方式來近似解答。比如說乙個連續概率分布的概率密度函式很複雜，要算出某個取值範圍的概率，沒有辦法積分。蒙特卡洛方法就是根據概率密度函式進行n個抽樣，然後把算出落在這個區間的樣本數除以總抽樣數就可以近似出這個概率值。你可能猜對了，對於那些無法解決的幾分問題，蒙特卡洛方法可以說是救星，特別是現在計算機的超強的計算能力。
這倆傢伙和貝葉斯統計方法有啥關係。
我們知道，貝葉斯統計方法的核心就是結合主觀先驗概率和客觀資料，推導出數學模型中未知引數的後驗概率。這個推導過程並不複雜。問題是推導出來的後驗概率分布非常的複雜，而且省略了歸一化引數。有了這個後驗概率公式，並不一定算得出概率值，均值，方差等。共軛分布看來只是一種幸運。
馬爾可夫鏈蒙特卡洛方法就是要來解決後驗概率的這兩問題: 公式複雜，缺少歸一化引數 稱為f(x)
此方法的核心也是抽樣，但是該公式缺少歸一化引數怎麼辦，於是抽樣過程稍微複雜了一點，除了後驗概率的半成品公示f(x), 另外引入乙個轉移概率g(x)來構造這個馬爾可夫鏈。當通過轉移概率得到新的值的時候，會根據這個樣本的f(x)和上個驗本的f(x)的比例來決定這個值的去留。這個的效果就是相當去除了歸一化引數的影響。根據演算法有很多細節化版本，g(x)也有多種建議。可以說公式推導理解起來特別心塞，但背後的intuition不得不讚美數學之美。
網上抄個圖來加深下理解。
希望本文至少能回答，這麼複雜名字的方法是幹啥的。
非引數貝葉斯隱式半馬爾可夫模型
將無處不在的對時間序列處理的馬爾可夫模型加入層次性狄利克雷過程隱式馬爾可夫鏈 hdp hmm 作為乙個自然的非引數貝葉斯的擴充套件是很重要的。但是，很多時候，hmm的馬爾可夫性的約束是很不必要的，尤其是當我們想要學習或者編碼非幾何分布的狀態時間的時候。我們可以擴充套件hdp hmm來獲取一種從確定時...
統計學習方法 樸素貝葉斯法
乙個事件概率依賴於另外乙個事件 已發生 的度量。p b a 的意義是在a發生的情況下b事件發生的概率。這就是條件概率。p ab p a times p b a 代表的意義是，ab事件同時發生的概率等於事件a發生的概率乘以在a發生條件下b事件發生的概率。p b a frac 事件序列發生且彼此相互依賴...
統計學習方法四 樸素貝葉斯
結合之前的部落格 一 什麼是樸素貝葉斯？樸素貝葉斯是基於貝葉斯定理與特徵條件獨立假設的分類方法。對於給定的資料集，首先基於特徵條件獨立假設學習輸入 輸出的聯合概率分布 然後基於此模型，對給定的輸入x，利用貝葉斯定理求出後驗概率最大的輸出y 特徵 1 多分類 2 生成學習方法二 學習與分類 1 條件獨...