機器學習筆記 概率

概率的理解：概率的一種理解是頻數的解釋，比如投硬幣，當投的次數無限多時，我們大概知道下次投出「head」 的概率。另外一種解釋就是貝葉斯觀點，就是衡量事情的不確定性。貝葉斯觀點的好處在於，其不是基於重複事件的。而是基於先前的資訊，來**下乙個事件發生的概率。

概率的基本性質在此略去，下面看看幾種典型的概率分布：

高斯分布為什麼使用最頻繁：1，他的兩個引數很好理解，能很好的解釋分布中的兩個重要的性質：均值和方差。2，中心極限定理表明獨立隨機變數的和近似為高斯分布，這個對誤差或者雜訊建模提供了有力的工具；3，高斯分布與最大熵有關；4，具有很簡單的數學形式，很容易實現。

關於高斯的歷史以及來歷，有段有趣的歷史，具體參考部落格我愛自然語言。

中心極限定理：設隨機變數x1，x2，...

xn相互獨立且服從同分布，具有相同的期望和方差，則隨機變數之和的標準化服從標準正態分佈。

機器學習筆記 概率生成模型

假設有兩類資料，每一類都有若干個樣本 概率生成模型認為每一類資料都服從某一種分布，如高斯分布 從兩類訓練資料中得到兩個高斯分布的密度函式，具體的是獲得均值和方差兩個引數 測試樣本輸入到其中乙個高斯分布函式，得到的概率值若大於0.5，則說明該樣本屬於該類，否則屬於另一類。演算法的核心在於獲取分布函式的...

機器學習 聯合概率分布

聯合概率分布簡稱聯合分布，對隨機向量x 的概率分布，稱為隨機變數x1,x2 xm 的聯合概率分布。根據隨機變數的不同，聯合概率分布的表示形式也不同。對於離散型隨機變數，聯合概率分布可以以列表的形式表示，也可以以函式的形式表示 對於連續型隨機變數，聯合概率分布通過非負函式的積分表示。如果隨機變數x的取...

機器學習之概率題

投乙個骰子，各個數字的概率都是1 6。問投的數字6的期望次數。很顯然，這個題的答案是e 1 1 6 6 具體計算如下 分成兩部分 1 當前狀態下有1 6的概率投出數字6，投擲次數就是1 61 2 5 6的概率投擲出其他數字，那麼需要重現再投e次，才能得到數字6，投擲次數是5 6 1 e 因此，總的式...