乙個事件概率依賴於另外乙個事件(已發生)的度量。
\(p(b|a)\)的意義是在a發生的情況下b事件發生的概率。這就是條件概率。
\(p(ab) = p(a) \times p(b|a)\) 代表的意義是，ab事件同時發生的概率等於事件a發生的概率乘以在a發生條件下b事件發生的概率。
\[p(b|a)=\frac
\]事件序列發生且彼此相互依賴，所以才有條件概率，這是前提。如果a, b兩個事件沒有相互依賴關係，那麼就是獨立事件。在獨立事件的情況下，兩個事件不會相互影響對方。
\[p(b|a)=p(b) if a,b互為獨立事件
\]事件a1，a2，a3，...... a是相互排斥的，不能同時發生。若事件a1，a2，…構成乙個完備事件組且都有正概率，則對任意乙個事件b，有如下公式成立：
\[p(b) = p(ba_1)+p(ba_2)+...+p(ba_n) \\ =p(b|a_1)p(a_1) + p(b|a_2)p(a_2) + ... + p(b|a_n)p(a_n)
\]graph tb
start-->a
a-->b
b-->a
a-->start
最簡單形式：
後驗概率 = 修正因子 x 先驗概率
\[p(a|b)=\frac\times p(a)
\]graph tb
start-->a1
start-->a2
start-->a3
start-->an
a1-->b
a2-->b
a3-->b
an-->b
\[p(a_i|b) = \fracp(a_i)\times p(b|a_i)}
\]
極大似然估計是概率論中乙個很常用的估計方法，在機器學習中的邏輯回歸中就是基於它計算的損失函式極大似然估計是基於乙個理論：概率最大的事件，最可能發生
極大似然估計（maximum likelihood estimation, mle），通俗的說就是 —— 最像估計法（最可能估計法）
極大似然原理與數學表示: 有n個實驗結果，\(a_i\)到\(a_n\)，如果\(a_j\)發生了，則意味著\(a_j\)發生的概率最大。即，一次試驗就發生的事件，這個事件本身發生概率最大
統計學習方法四 樸素貝葉斯
結合之前的部落格 一 什麼是樸素貝葉斯？樸素貝葉斯是基於貝葉斯定理與特徵條件獨立假設的分類方法。對於給定的資料集，首先基於特徵條件獨立假設學習輸入 輸出的聯合概率分布 然後基於此模型，對給定的輸入x，利用貝葉斯定理求出後驗概率最大的輸出y 特徵 1 多分類 2 生成學習方法二 學習與分類 1 條件獨...
統計學習方法 樸素貝葉斯 python實現
樸素貝葉斯演算法 首先訓練樸素貝葉斯模型，對應演算法4.1 1 分別計算先驗概率及條件概率，分別存在字典priorp和condp中 初始化函式中定義 其中，計算乙個向量各元素頻率的操作反覆出現，定義為count函式。初始化函式定義了先驗概率和條件概率字典，並訓練模型 def init self,da...
統計學習方法四 樸素貝葉斯分類
樸素貝葉斯分類 1，基本概念 2，演算法流程 關鍵點 理解先驗概率，條件概率，最大後驗概率，下面是以極大似然估計的 3，演算法改進 貝葉斯估計 上述用極大似然估計可能會出現所要估計的概率值為0的情況，改進方法 先驗概率貝葉斯估計 k表示類別數，為引數 0時為極大似然估計 1時為拉普拉斯平滑 條件概率...