原文：貝葉斯公式的直觀理解(先驗概率/後驗概率)
前言
以前在許學習貝葉斯方法的時候一直不得要領,什麼先驗概率,什麼後驗概率,完全是跟想象脫節的東西,今天在聽喜馬拉雅的音訊的時候突然領悟到,貝葉斯老人家當時想到這麼一種理論前提可能也是基於一種人的直覺.
先驗概率是指根據以往經驗和分析得到的概率,如全概率公式,它往往作為"由因求果"問題中的"因"出現.
後驗概率是指依據得到"結果"資訊所計算出的最有可能是那種事件發生,如貝葉斯公式中的,是"執果尋因"問題中的"因".
舉個栗子
首先我想問乙個問題,桌子上如果有一塊肉喝一瓶醋,你如果吃了一塊肉,然後你覺得是酸的,那你覺得肉裡加了醋的概率有多大?你說:80%可能性加了醋.ok,你已經進行了一次後驗概率的猜測.沒錯,就這麼簡單.
形式化:
我們設a為加了醋的概率,b為吃了之後是酸的概率.c為肉變質的概率
思考思考再思考
那麼先驗概率在這個公式中有沒有出現呢?有,p(a)就是一種先驗概率.
那麼什麼是p(b|a)呢? 類條件概率.
那麼p(b|a)為什麼叫類條件概率呢?馬上解釋.
在寫這個隨筆之時,我腦子中又有一種構想,所謂的後驗概率,是一種果因概率,即在乙個結果已經發生的條件下,可能是其中某乙個原因造成的概率有多大.這裡引用一段"概率論與數理統計"[2]中關於貝葉斯公式的解釋:
那麼這個p(原因1導致結果)和p(結果|原因1)之間到底有什麼聯絡呢?讓我們舉乙個影象識別的例子
再舉個栗子
假如給你一些,這些中有的圖上有動物的角,這些佔了1/10(即先驗概率),且已知在有角的條件下是犀牛的概率是0.8(類條件概率1,注意這個概率互補的概率是有角條件下不是犀牛的概率),已知在無角條件下是犀牛概率的是0.05(類條件概率2),現在拿起一張圖,發現是一張犀牛的圖,那麼這張圖上帶角的概率有多大(求後驗概率)
由圖中公式可知p(上由動物的角|是犀牛) = 0.8*0.1/(0.8*0.1+0.05*0.9)=0.64
可以看到p(上由動物的角且是犀牛)=0.08與p(是犀牛|上由動物的角)=0.8之間差別非常大.
再通過比較可以發現,分母中的類條件概率實際上把乙個完整的問題集合s通過特徵進行了劃分,劃分成s1/s2/s3...,拿我剛剛提出的所謂果因概率來討論,類條件概率中的類指的是把造成結果的所有原因一(yi) 一(yi)進行列舉,分別討論.
總結:
我想之所以貝葉斯方法在機器學習中如此重要,就是因為人們希望機械人能像人那樣思考,而很多問題是需要計算機在已知條件下做出最佳決策的決策,而貝葉斯公式就是對人腦在已知條件下做出直覺判斷的一種數學表示.
參考：數學之美---先驗概率與後驗概率、貝葉斯區別與聯絡
先驗概率，後驗概率
原文：貝葉斯公式的直觀理解(先驗概率/後驗概率)
前言
以前在許學習貝葉斯方法的時候一直不得要領,什麼先驗概率,什麼後驗概率,完全是跟想象脫節的東西,今天在聽喜馬拉雅的音訊的時候突然領悟到,貝葉斯老人家當時想到這麼一種理論前提可能也是基於一種人的直覺.
先驗概率是指根據以往經驗和分析得到的概率,如全概率公式,它往往作為"由因求果"問題中的"因"出現.
後驗概率是指依據得到"結果"資訊所計算出的最有可能是那種事件發生,如貝葉斯公式中的,是"執果尋因"問題中的"因".
舉個栗子
首先我想問乙個問題,桌子上如果有一塊肉喝一瓶醋,你如果吃了一塊肉,然後你覺得是酸的,那你覺得肉裡加了醋的概率有多大?你說:80%可能性加了醋.ok,你已經進行了一次後驗概率的猜測.沒錯,就這麼簡單.
形式化:
我們設a為加了醋的概率,b為吃了之後是酸的概率.c為肉變質的概率
思考思考再思考
那麼先驗概率在這個公式中有沒有出現呢?有,p(a)就是一種先驗概率.
那麼什麼是p(b|a)呢? 類條件概率.
那麼p(b|a)為什麼叫類條件概率呢?馬上解釋.
在寫這個隨筆之時,我腦子中又有一種構想,所謂的後驗概率,是一種果因概率,即在乙個結果已經發生的條件下,可能是其中某乙個原因造成的概率有多大.這裡引用一段"概率論與數理統計"[2]中關於貝葉斯公式的解釋:
那麼這個p(原因1導致結果)和p(結果|原因1)之間到底有什麼聯絡呢?讓我們舉乙個影象識別的例子
再舉個栗子
假如給你一些,這些中有的圖上有動物的角,這些佔了1/10(即先驗概率),且已知在有角的條件下是犀牛的概率是0.8(類條件概率1,注意這個概率互補的概率是有角條件下不是犀牛的概率),已知在無角條件下是犀牛概率的是0.05(類條件概率2),現在拿起一張圖,發現是一張犀牛的圖,那麼這張圖上帶角的概率有多大(求後驗概率)
由圖中公式可知p(上由動物的角|是犀牛) = 0.8*0.1/(0.8*0.1+0.05*0.9)=0.64
可以看到p(上由動物的角且是犀牛)=0.08與p(是犀牛|上由動物的角)=0.8之間差別非常大.
再通過比較可以發現,分母中的類條件概率實際上把乙個完整的問題集合s通過特徵進行了劃分,劃分成s1/s2/s3...,拿我剛剛提出的所謂果因概率來討論,類條件概率中的類指的是把造成結果的所有原因一(yi) 一(yi)進行列舉,分別討論.
總結:
我想之所以貝葉斯方法在機器學習中如此重要,就是因為人們希望機械人能像人那樣思考,而很多問題是需要計算機在已知條件下做出最佳決策的決策,而貝葉斯公式就是對人腦在已知條件下做出直覺判斷的一種數學表示.
參考：數學之美---先驗概率與後驗概率、貝葉斯區別與聯絡
先驗概率，後驗概率
貝葉斯公式的直觀理解 先驗概率 後驗概率
前言 以前在許學習貝葉斯方法的時候一直不得要領,什麼先驗概率,什麼後驗概率,完全是跟想象脫節的東西,今天在聽喜馬拉雅的音訊的時候突然領悟到,貝葉斯老人家當時想到這麼一種理論前提可能也是基於一種人的直覺.先驗概率 是指根據以往經驗和分析得到的概率.1 意思是說我們人有乙個常識,比如骰子,我們都知道概率...
貝葉斯公式的直觀理解 先驗概率 後驗概率
前言 以前在許學習貝葉斯方法的時候一直不得要領,什麼先驗概率,什麼後驗概率,完全是跟想象脫節的東西,今天在聽喜馬拉雅的音訊的時候突然領悟到,貝葉斯老人家當時想到這麼一種理論前提可能也是基於一種人的直覺.先驗概率 是指根據以往經驗和分析得到的概率.1 意思是說我們人有乙個常識,比如骰子,我們都知道概率...
貝葉斯公式的直觀理解 先驗概率 後驗概率
前言 以前在許學習貝葉斯方法的時候一直不得要領,什麼先驗概率,什麼後驗概率,完全是跟想象脫節的東西,今天在聽喜馬拉雅的音訊的時候突然領悟到,貝葉斯老人家當時想到這麼一種理論前提可能也是基於一種人的直覺.先驗概率 是指根據以往經驗和分析得到的概率.1 意思是說我們人有乙個常識,比如骰子,我們都知道概率...