1.先驗概率(prior probability):是指根據以往經驗和分析得到的概率。即沒有考慮原因,在獲得資料和依據之前就對概率進行了猜測,得到了概率。
2.似然函式(likelihood function):似然用來描述已知隨機變數輸出結果時,未知引數的可能取值。似然函式關注的是由已知的結果和某固有屬性的關係,而不是結果或者原因的概率,所以稱似然是對固有屬性的擬合,所以不能稱之為概率。
3.後驗概率(posterior probability):是在相關證據或者背景給定並納入考慮之後的條件概率。是由因及果的概率。
4.貝葉斯公式:
舉例說明:
1)先驗——根據若干年的統計(經驗)或者氣候(常識),某地方下雨的概率;
2)似然——下雨(果)的時候有烏雲(因/證據/觀察的資料)的概率,即已經有了果,對證據發生的可能性描述;
3)後驗——根據天上有烏雲(原因或者證據/觀察資料),下雨(結果)的概率;
極大似然估計(ml估計)
極大似然估計提供了一種給定觀察資料來評估模型引數的方法,即:「模型已定,引數未知」。但是這個未知的引數可以理解為客觀存在固定的
即在模型引數為
時能夠輸出資料
的概率為:
希望找到的(估計的)模型引數
,就是使得似然函式在以
作為輸入時達到極大的引數(似然函式):
看著公式還是很抽象,我在別人的部落格上找了乙個例子,便於理解:
假如有乙個罐子,裡面有黑白兩種顏色的球,數目多少不知,兩種顏色的比例也不知。我 們想知道罐中白球和黑球的比例,但我們不能把罐中的球全部拿出來數。現在我們可以每次任意從已經搖勻的罐中拿乙個球出來,記錄球的顏色,然後把拿出來的球 再放回罐中。這個過程可以重複,我們可以用記錄的球的顏色來估計罐中黑白球的比例。假如在前面的一百次重覆記錄中,有七十次是白球,請問罐中白球所佔的比例最有可能是多少?
很多人馬上就有答案了:70%。而其後的理論支撐是什麼呢?
我們假設罐中白球的比例是p,那麼黑球的比例就是1-p。因為每抽乙個球出來,在記錄顏色之後,我們把抽出的球放回了罐中並搖勻,所以每次抽出來的球的顏 色服從同一獨立分布。
這裡我們把一次抽出來球的顏色稱為一次抽樣。題目中在一百次抽樣中,七十次是白球的,三十次為黑球事件的概率是p(樣本結果|model)。
如果第一次抽象的結果記為x1,第二次抽樣的結果記為x2....那麼樣本結果為(x1,x2.....,x100)。這樣,我們可以得到如下表示式:
p(樣本結果|model)
= p(x1,x2,…,x100|model)
= p(x1|mel)p(x2|m)…p(x100|m)
= p70(1-p)30.
好的,我們已經有了觀察樣本結果出現的概率表示式了。那麼我們要求的模型的引數,也就是求的式中的p。
那麼我們怎麼來求這個p呢?
不同的p,直接導致p(樣本結果|model)的不同。
好的,我們的p實際上是有無數多種分布的。如下:
那麼求出 p70(1-p)30為 7.8 * 10^(-31)
p的分布也可以是如下:
那麼也可以求出p70(1-p)30為2.95* 10^(-27)
那麼問題來了,既然有無數種分布可以選擇,極大似然估計應該按照什麼原則去選取這個分布呢?
答:採取的方法是讓這個樣本結果出現的可能性最大,也就是使得p70(1-p)30值最大,那麼我們就可以看成是p的方程,求導即可!
那麼既然事情已經發生了,為什麼不讓這個出現的結果的可能性最大呢?這也就是最大似然估計的核心。
我們想辦法讓觀察樣本出現的概率最大,轉換為數學問題就是使得:
p70(1-p)30最大,這太簡單了,未知數只有乙個p,我們令其導數為0,即可求出p為70%,與我們一開始認為的70%是一致的。其中蘊含著我們的數學思想在裡面。
最大似然估計的核心為:已知模型,求引數讓樣本結果出現的可能性最大。
最大後驗概率(map)
1.map和mle的區別:最大似然估計是求引數θ, 使似然函式p(x|θ)最大。最大後驗概率估計則是想求θ使p(x|θ)p(θ)最大。求得的θ不單單讓似然函式大,θ自己出現的先驗概率也得大。
2.map的基本思想仍然是基於貝葉斯公式本身,mle的目的是求出最大的似然估計值,而map的目的是求出最大的後驗概率本身,在mle的基礎上加上了乙個先驗概率,他的表示式為:
對於乙個樣本點(假設有兩個特徵x和y),那麼這個樣本點屬於類別1的概率為p1(x,y),屬於類別2的概率為p2(x,y)。(假設為 二分類),那麼貝葉斯決策理論為:
如果p1(x,y)>p2(x,y),那麼該樣本點類別為1。
如果p1(x,y)
時,為類別2。
且根據貝葉斯公式有:
介紹:影象識別,是指利用計算機對影象進行處理、分析和理解,以識別各種不同模式的目標和物件的技術,是應用深度學習演算法的一種實踐應用。 現階段影象識別技術一般分為人臉識別與商品識別,人臉識別主要運用在安全檢查、身份核驗與移動支付中;商品識別主要運用在商品流通過程中,特別是無人貨架、智慧型零售櫃等無人零售領域 。
展望:未來可能能製造出擁有視覺的機械人,完全實現無人駕駛。
應用:交通方面的車牌識別系統;公共安全方面的人臉識別技術、指紋識別技術;農業方面的種子識別技術、食品品質檢測技術;醫學方面的心電圖識別技術等。
瓶頸:人臉識別:如人臉的非剛體、髮型的變化與表情、化妝的多樣性以及環境光照複雜性等,都給人臉識別帶來了較大困難。即便是大量來自生理學、神經認知科學與自模式識別、心理學以及計算機視覺等眾多領域的專家們經過40多年對自動人臉識別技術的深入研究,仍被很多問題困擾著,得不到有效的解決辦法。換個角度來想,即便是人類自己,即使每天都在根據他人面孔來區別親人、朋友、同事與陌生人,但有時候也很難準確敘述出自己為什麼能對他們進行區分,特別是對於雙胞胎,雖然可區別他們,但卻說不出如何區分、鑑別。可想而知,人都如此,更何況同人類視覺系統存在較大差異的影象採集裝置,而且從某種意義上來說,計算機智慧型識別技術同人腦相比,還是存在一定差距的。為此,若要想計算機能夠像人一樣自動、準確識別人臉,必然需要不同領域研究者們的繼續努力。
第一次個人作業
第一章講了基本概念以及評價指標,了解到了什麼是機器學習,怎樣才算識別效果比較好,以及如何用數學表達。第二章就正式開始講分類的方法了,講述了用距離進行分類,其中用歐式距離要消除特徵之間的相關性,以及量綱的影響,所以就引入了micd分類器,但micd分類器的缺陷是距離相等的時候會選擇方差較大的那一類,也...
第一次個人作業
該作業所屬課程 homework 3340 團隊名稱 腦殼痛作業的目標 1.通過測試其他組的軟體專案學習其他組的優勢之處.2.及時反饋提供建議以供他人做修改 姓名 胡楊帥 學號 201731091129 測試一 團隊名 求莫名堂 專案名 點遊戲 測試截圖 上手體驗感覺如何?能否正常執行?體驗不是特別...
第一次個人作業
這個作業屬於哪個課程 這個作業要求在 homework 10974 這個作業的目標 自我介紹,課程期望 學號 211806308 我是軟體工程專業18級的學生陳甜,平常比較喜歡聽 看 享受美食。拖延症患者,主動性較差,但是對於老師布置的任務都能盡力完成。閒暇時間在完成任務的情況會出門覓食,享受品嚐食...