機器學習第二課 概率與統計的部分說明

2021-07-22 09:28:45 字數 2150 閱讀 9196

由於本人加入系統學習機器學習課程,所以我從頭整理知識點。這是總結課上的內容。內容主要**於 大資料文摘

什麼叫引數估計?就是你就知道一堆觀測值,你要利用洪荒之力玄學思想選定乙個模型。

然後你開始計算(估計)模型的引數吧。怎麼估計我們可以用「矩估計」方法,「極大似然估計」方法。

老師在課上其實是這麼說的

我們一步一步分析。下面我們來以程小博士與二彪子(你)問答的方式來解決這個問題。

這個問題來自乙個同學提出的式子:

後驗概率=似然函式×先驗概率/證據因子

這其實是貝葉斯公式。你看: p(

b|a)

=p(a

|b)∗

p(b)

p(a)

p(θ1

|x1,

x2,x

3,⋯)

=p(x

1,x2

,x3,

⋯|θ1

)∗p(

θ1)p

(x1,

x2,x

3,⋅)

p(x1,x2

,x3,

⋯|θ1

):上文說了就是似然函式 p(

x1,x

2,x3

,⋯):

這不就是我們僅僅知道的證據嗎? p(

θ1):

先驗概率,但極大似然估計的例子中知道它比較難。 p(

θ1|x

1,x2

,x3,

⋯):β

後驗概率,知道結果了那麼條件出現的概率是什麼?

這裡發個廣告,這裡記載關於我混合高斯模型(gmm)的詳細記錄

這個東西在《程式設計師的數學2》中有詳細記載。大約花了好幾章的進行前提鋪墊。

課上就說了一下,但是我肯定不滿足僅說一點點。本篇文章大部分來自這個csdn的blog瀟水汀寒

這是個離散分布連續化的故事。

為了解釋為什麼:beta函式與二項分布共軛????

如果隨機變數 x 服從引數為 n 和 p 的二項分布,那麼它的概率由概率質量函式(對於連續隨機變數,則為概率密度函式)為: p(

x)=c

xnqx

(1−q

)n−x

(1)

下面把離散函式連續化。把它表示為變數 q 的函式,即只有 q 這乙個變數,這樣cx

n 就是個常數,可以寫成如下相關形式: f(

q)∝q

a(1−

q)b(2)

其中 a 和 b 是常量。接下來就是概率密度基本規劃為1的過程。

為了把上公式變成乙個分布,可以給它乘上乙個因子,使它對 q 從0到1積分為1即可。(這個因子通常是 a 和 b 的函式,而不是 q 。如果是q不就不能算。) b(

a+1,

b+1)

=∫10

qa(1

−q)b

dq(3)

有人這樣規範化後的就是乙個分布了(事實上我也不知道) f(

q;a+

1,b+

1)=q

a(1−

q)b∫

10qa

(1−q

)bdq

=qa(

1−q)

bb(a

+1,b

+1)(4)

取 α=a+1, β=b+1 ,並將積分變數 q 改為 t得beta函式(因為其他地方也會用到故用紅色表示):b(

α,β)

=∫10

tα−1

(1−t

)β−1

dt變數 q 改為 x ,得beta分布: f(

x;α,

β)=x

α−1(

1−x)

β−1∫

10xα

−1(1

−x)β

−1dx

=xα−

1(1−

x)β−

1∫10

uα−1

(1−u

)β−1

du=x

α−1(

1−x)

β−1b

(α,β

) 這麼說beta函式與二項分布共軛也沒什麼不對

機器學習第二課

梯度下降演算法 repeat j theta 0,theta 1.theta n j j j j 0 1 n simultaneously update for every j 0,1 n j j 1m i 1m h x i y i xj i theta j theta j alpha frac s...

linux學習第二課

今天跟著benjamin學習linux的第二課,主講內容 linux作業系統的檔案 一.linux系統下除了一般檔案外,所有的目錄和裝置 光碟機,硬碟等 都是以檔案的形式存在了。所以這裡就出現了乙個問題,我們怎樣才能使用物理裝置中的資料呢,linux系統是將物理裝置掛載 linux中乙個非常重要的概...

Android學習第二課

android技術結構圖 是針對安卓,對linux kernel進行優化 libraries android rumtime core libraries dalvik virtual machine 常用庫應用程式框架方便了我們的開發 手機的應用程式 android的四大元件 activity s...