極大似然演算法
本來打算把別人講的好的博文放在上面的，但是感覺那個適合看著玩，我看過之後感覺懂了，然後實際應用就不會了。。。。
mlp其實就是用來求模型引數的，核心就是「模型已知，求取引數」，模型的意思就是資料符合什麼函式，比如我們硬幣的正反就是二項分布模型，再比如我們平時隨機生成的一類資料符合高斯模型。。。
直接上公式：
l(θ) ：聯合概率分布函式，就是每個樣本出現的概率乘積。
x1,x2,x3....xn: 樣本
θ ： 模型的引數(比如高斯模型的兩個引數：μ、σ)
p(xi ; θ) : 第i個樣本的概率模型
xi ：第i個樣本
平時使用的時候取對數，完全為了求解方便。(從後面可以看出求導方便)：
而稱為平均對數似然。而我們平時所稱的最大似然為最大的對數平均似然，即：
舉例一：
舉乙個拋硬幣的簡單例子。 現在有乙個正反面不是很勻稱的硬幣，如果正面朝上記為h，方面朝上記為t，拋10次的結果如下：
求這個硬幣正面朝上的概率有多大？
很顯然這個概率是0.2。現在我們用mle的思想去求解它。我們知道每次拋硬幣都是一次二項分布，設正面朝上的概率是
，那麼似然函式為：
x=1表示正面朝上，x=0表示方面朝上。那麼有：
求導：令導數為0，很容易得到：
也就是0.2 。
舉例二：
假如我們有一組連續變數的取樣值(x1,x2,…,xn)，我們知道這組資料服從正態分佈，標準差已知。請問這個正態分佈的期望值為多少時，產生這個已有資料的概率最大？
p(data | m) = ？
根據公式：
可得:對μ求導可得：
則最大似然估計的結果為μ=(x1+x2+…+xn)/n
舉例三：
假設我們要統計全國人民的年均收入，首先假設這個收入服從服從正態分佈，但是該分布的均值與方差未知。我們沒有人力與物力去統計全國每個人的收入。我們國家有10幾億人口呢？那麼豈不是沒有辦法了？
不不不，有了極大似然估計之後，我們可以採用嘛！我們比如選取乙個城市，或者乙個鄉鎮的人口收入，作為我們的觀察樣本結果。然後通過最大似然估計來獲取上述假設中的正態分佈的引數。
有了引數的結果後，我們就可以知道該正態分佈的期望和方差了。也就是我們通過了乙個小樣本的取樣，反過來知道了全國人民年收入的一系列重要的數學指標量！
那麼我們就知道了極大似然估計的核心關鍵就是對於一些情況，樣本太多，無法得出分布的引數值，可以取樣小樣本後，利用極大似然估計獲取假設中分布的引數值。
注：最大似然函式真的很簡單，剛開始我也一頭霧水。其實我們用的很多函式都可以說是乙個最大似然函式，比如符合y = x2、y = kx。。。。都可以當做乙個模型去求解乙個極大似然函式，只不過我們得到的資料不符合這些模型而已。
大家有沒有發現只要是求概率的問題，都會寫出乙個函式，這個函式其實就是最大似然函式，可以說是目標函式，也可以說是似然函式，把每個資料出現的概率相乘就是似然函式，再求對數，再求均值，再求最值，這就是極大似然了，就是乙個名字而已！
em演算法概述
em演算法核心：猜(e-step),反思(m-step),重複；
先說說我自己對em演算法的理解：
問題一：
現在乙個班裡有50個男生，50個女生，且男生站左，女生站右。我們假定男生的身高服從正態分佈
，女生的身高則服從另乙個正態分佈：
。這時候我們可以用極大似然法(mle)，分別通過這50個男生和50個女生的樣本來估計這兩個正態分佈的引數。
問題二：
但現在我們讓情況複雜一點，就是這50個男生和50個女生混在一起了。我們擁有100個人的身高資料，卻不知道這100個人每乙個是男生還是女生。這時候情況就有點尷尬，因為通常來說，我們只有知道了精確的男女身高的正態分佈引數我們才能知道每乙個人更有可能是男生還是女生。但從另一方面去考量，我們只有知道了每個人是男生還是女生才能盡可能準確地估計男女各自身高的正態分佈的引數。
問題二需要求解兩個問題：
假設a=(第k個樣本是男生還是女生)
假設b=(高斯模型的引數)
如果知道a，那用問題一的方法就可以求解b，如果知道b那也就可以分類a了，但是前提是兩個都不知道。。。。比如y=x+1，現在讓你求解x和y的值，怎麼辦？
解決：總結：其實em演算法就是先通過假設的引數(不能太無厘頭了)把資料進行分類，然後通過分類的資料計算引數，接著對比計算的引數和假設的引數是否滿足精度，不滿足就返回去，滿足就結束。
em演算法使用簡單，但是證明很麻煩，我感覺沒必要去證明，會使用就好了，反正em是一種思想，而不是像k-means等是一種演算法。
參考：2.最大似然的舉例1)
3.最大似然的舉例2)
4.演算法的問題**知乎，但是作者沒有解決)
5.還沒來得及看的em例子，排版很好，不知道內容)
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
極大似然函式求解 極大似然估計的理解與應用
極大似然估計是概率論中乙個很常用的估計方法，在機器學習中的邏輯回歸中就是基於它計算的損失函式，因此還是很有必要複習一下它的相關概念的。背景先來看看幾個小例子 獵人師傅和徒弟一同去打獵，遇到乙隻兔子，師傅和徒弟同時放槍，兔子被擊中一槍，那麼是師傅打中的，還是徒弟打中的？乙個袋子中總共有黑白兩種顏色10...
似然函式與最大似然估計
概率用於在已知一些引數的情況下，接下來的觀測所得到的結果，而似然性則是用於在已知某些觀測所得到的結果時，對有關事物性質的引數進行估計。是一種關於統計模型中引數的函式。例如，已知有事件a發生，運用似然函式，我們估計引數b的可能性。表明在已知觀測結果情況下，似然函式的值越高，該引數值可使模型越合理。最大...