什麼是最大似然估計（maximum likelyhood estimator）？mle代表觀察值最有可能出現次數的情況。
先自定義乙個拋擲硬幣的場景,我們想要知道出現head的概率是多少？如拋擲一枚硬幣10次，得到的結果x=hhhhtttttt,出現head的概率為0.4.則這個0.4就是mle。
在有些情況下，我們也會用map（maximum a posterior）進行概率估計，後驗概率估計（map）也是事先已經給定了觀察值。**下次出現head的概率有如下形式：
可以看到，mle和map均是從很優的概率估計值中進行**。現在我們丟掉這些資訊，在只知道pi屬於【0 1】的情況下，進行**。因為所有的涉及到概率值的判斷問題，我們都是在求資料的期望值。現假設乙個函式f（z）,z=pi,當f(z)分別取離散值或連續值的時候的期望。哪個代表離散，哪個代表連續，需要注意的是，這裡使用的求期望值的方法是兩個函式的內積，這是統計學習中經常會出現的表徵兩個函式相關程度的方式。
對於函式f(z)，我們感興趣的地方在於:
與此同時，基於函式f(z)的分布為:
所以我們有如下形式的估計，也是期望值的表現形式：
...............(c)
運用bayes's rule,
比較a 、b、 c三者的不同，我們發現c 充分的對pi運用先驗知識，以及pi與觀察值x的相互關係 對pi產生的影響。
話說回來，在實際運用中，積分往往是很難求的，這和我們在課堂裡求一些簡單的積分題目有很大的不同。那這種工程上的運用怎麼來解決呢？gibbs sampling 就在這種情況下及時的出現了。它採用從某一分布中取樣，以漸近的方式逼近而毋須計算其積分。
Gibbs Sampling深入理解
gibbs sampling是高維概率分布的mcmc取樣方法。二維場景下，狀態 x,y 轉移到 x y 可以分為三種場景 1 平行於y軸轉移，如上圖中從狀態a轉移到狀態b。2 平行於x軸轉移，如上圖中從狀態a轉移到狀態c。3 其他情況轉移，如上圖從狀態a轉移到狀態d。對於上述三種情況，我們構造細緻平...
吉布斯取樣（Gibbs Sampling
簡單理解吉布斯取樣的過程 幾個可以學習gibbs sampling的方法 1，讀bishop的pattern recognition and machine learning，講的很清楚，但是我記得好像沒有例子。2，讀artificial intelligence，2 3版，都有。但是我沒讀過。3，...
也許不完美
猶豫了這麼久，終於把三方寄出去了，花了24塊錢。回到宿舍，心裡卻高興不起來。不知道為什麼，我突然覺得身邊都是嘲笑的聲音，心情一下子跌落到谷底。我不禁對自己冷笑。我真的不知道我的選擇是否正確？特別是看到dd不太情願去hz的那個眼神，讓我一時間不知所措了。從開始找工作那一刻開始，我就一直在糾結。我也曾經...