最近在研究一些概率論的東西，今天說一說似然函式。
常說的概率是指給定引數後，**即將發生的事件的可能性。拿硬幣這個例子來說，我們已知一枚均勻硬幣的正反面概率分別是0.5，要**拋兩次硬幣，硬幣都朝上的概率：
h代表head，表示頭朝上
p(hh | ph = 0.5) = 0.5*0.5 = 0.25.
這種寫法其實有點誤導，後面的這個p其實是作為引數存在的，而不是乙個隨機變數，因此不能算作是條件概率，更靠譜的寫法應該是 p(hh;p=0.5)。
而似然概率正好與這個過程相反，我們關注的量不再是事件的發生概率，而是已知發生了某些事件，我們希望知道引數應該是多少。
現在我們已經拋了兩次硬幣，並且知道了結果是兩次頭朝上，這時候，我希望知道這枚硬幣丟擲去正面朝上的概率為0.5的概率是多少？正面朝上的概率為0.8的概率是多少？
如果我們希望知道正面朝上概率為0.5的概率，這個東西就叫做似然函式，可以說成是對某乙個引數的猜想（p=0.5）的概率，這樣表示成(條件)概率就是
l(ph=0.5|hh) = p(hh|ph=0.5) = （另一種寫法）p(hh;ph=0.5).
為什麼可以寫成這樣？我覺得可以這樣來想：
似然函式本身也是一種概率，我們可以把l(ph=0.5|hh)寫成p(ph=0.5|hh); 而根據貝葉斯公式，p(ph=0.5|hh) = p(ph=0.5,hh)/p(hh)；既然hh是已經發生的事件，理所當然p(hh) = 1,所以：
p(ph=0.5|hh) = p(ph=0.5,hh) = p(hh;ph=0.5).
右邊的這個計算我們很熟悉了，就是已知頭朝上概率為0.5，求拋兩次都是h的概率，即0.5*0.5=0.25。
所以，我們可以safely得到:
l(ph=0.5|hh) = p(hh|ph=0.5) = 0.25.
這個0.25的意思是，在已知丟擲兩個正面的情況下，ph = 0.5的概率等於0.25。
再算一下
l(ph=0.6|hh) = p(hh|ph=0.6) = 0.36.
把ph從0~1的取值所得到的似然函式的曲線畫出來得到這樣一張圖：
（來自wikipedia）
可以發現，ph = 1的概率是最大的。
即l(ph = 1|hh) = 1。
那麼最大似然概率的問題也就好理解了。
最大似然概率，就是在已知觀測的資料的前提下，找到使得似然概率最大的引數值。
這就不難理解，在data mining領域，許多求引數的方法最終都歸結為最大化似然概率的問題。
回到這個硬幣的例子上來，在觀測到hh的情況下，ph = 1是最合理的（卻未必符合真實情況，因為資料量太少的緣故）。
先理解這麼多。
似然函式與最大似然估計
概率用於在已知一些引數的情況下，接下來的觀測所得到的結果，而似然性則是用於在已知某些觀測所得到的結果時，對有關事物性質的引數進行估計。是一種關於統計模型中引數的函式。例如，已知有事件a發生，運用似然函式，我們估計引數b的可能性。表明在已知觀測結果情況下，似然函式的值越高，該引數值可使模型越合理。最大...
機器學習 概率密度函式和似然函式
離散的概率分布律 p x k pk。這樣可以一目了然的看出x所可能的取值和對應的概率。對於連續隨機變數來說，p x k x為k的個數 總個數 因為總個數無窮個，概率趨向於0。所以我們引入概率密度函式，一目了然看出落在x的某一值附近的概率大小 兩方面理解 1.連續不說某一值的概率，而是區間。2.概率的...
模式識別與機器學習 似然函式
在數理統計學中，似然函式是一種關於統計模型中的引數的函式，表示模型引數中的似然性。似然函式在統計推斷中有重大作用，如在最大似然估計和費雪資訊之中的應用等等。似然性 與 或然性 或 概率 意思相近，都是指某種事件發生的可能性，但是在統計學中，似然性 和 或然性 或 概率 又有明確的區分。概率 用於在已...