在說貝葉斯規則（bayes rule）和將貝葉斯規則用於圖模型之前，先讓大家了解下機器學習的四個正規化（paradigms），也可以理解為四個流派；
連線主義（connectionist）：用現在比較流行的說法就是神經網路，現在用到的工具有tensorflow、pytorch、theano、caffe等~
符號主義：邏輯的學習，思想嚴密但計算複雜度很高，從18年開始，在nlp領域上有人開始嘗試連線主義和符號主義的聯姻~
下圖為貝葉斯公式
在monty hall problem上，貝葉斯公式有著很直接的應用，大家可以檢視鏈結並了解下是如何通過貝葉斯公式來解決這個難題的~如果需要更直觀的理解這個問題和解法，可以看看這篇部落格，問題中每個概率的值怎麼來博主都有相應的解釋。
維度的詛咒（the curse of dimensionality）
當乙個模型中有多個引數（設有d個），若要知道這個模型引數的聯合分布，如果用直接儲存的方式，則需要2^d的儲存空間，當d的數量上公升到成千上萬個以後，儲存空間的開銷將會變得異常的大，而概率圖模型可以以高效的方式將聯合分布從指數級別的複雜度轉變成多項式級別的複雜度，從而減少儲存空間，這是概率圖模型的motivation~
介紹概率圖模型前先說下兩個詞：
directed probabilistic graphical models：有向概率圖模型
directed acyclic graph（dag）：有向無環圖
上面的可能有點太亂了，但順著看下來還是可以看懂的。首先，將內中間的有向無環圖看成為一顆樹，這棵樹中每個節點（node）的概率為：p（node|parent(node)），例如圖中的alarm，它的父節點為earthquake和burglary，這alarm節點的概率為p(a|e,b)。所以該概率圖的全概率p(b,e,a,r,c)=p(b)p(e)p(a|b,e)p(r|e)p(c|a)，所以dag的概率公式為下方所示。
條件概率、聯合分布、vc維
機器學習 貝葉斯
bayes.py包含了所有函式的實現，需要做的是，明白各個函式的功能作用及輸入輸出，在指令碼中完成函式的呼叫，給出要求的格式的結果。from numpy import import csv import random random.seed 21860251 def loaddataset post...
機器學習 樸素貝葉斯
樸素貝葉斯原理 1.貝葉斯公式 2.樸素貝葉斯的模型 3.後驗概率最大化的含義 4.樸素貝葉斯的引數估計 4.1.特徵是離散值 假設符合多項式分布 4.2.特徵是稀疏的離散值 假設符合伯努利分布 4.3.特徵是連續值 假設符合正態分佈 5.樸素貝葉斯演算法過程 6.樸素貝葉斯演算法小結 scikit...
機器學習之貝葉斯
scikit learn 樸素貝葉斯類庫使用小結 demo 貝葉斯定理是18世紀英國數學家托馬斯 貝葉斯 thomas bayes 提出得重要概率論理論。以下摘一段 wikipedia 上的簡介 所謂的貝葉斯定理源於他生前為解決乙個 逆概 問題寫的一篇文章，而這篇文章是在他死後才由他的一位朋友發表出...