似然函式與概率非常類似但又有根本的區別，概率為在某種條件（引數）下**某事件發生的可能性；而似然函式與之相反為已知該事件的情況下推測出該事件發生時的條件（引數）；所以似然估計也稱為引數估計，為引數估計中的一種演算法； 下面先求拋硬幣的似然函式，然後再使用似然函式算出線性回歸的引數；
假如有一枚硬幣我們現在不知道它是否為正常硬幣（正反面出現概率各位50%），所以想通過拋10次然後通過硬幣正反面出現的概率分布判斷該硬幣是否正常；當拋完10次時出現5次正面向上、5次反面向上，正反面出現的概率符合正常硬幣的預期，這時我們可以判斷該硬幣是正常的；
拋硬幣符合二項分布所以下面計算出概率分布情況：
如圖：
上圖中x軸為正面出現的次數，y軸為上述函式的結果
上面式子中w為正反面出現的比例，y為正面出現的次數；
似然函式為知道了結果求條件，概率問題為知道了條件求概率，在這個問題中就是知道了硬幣是正常的，求正反面出現的比例w為何值時該結果最靠譜；所以似然函式等於：
函式左邊的值並非條件概率中的條件而是該函式的依賴值，似然函式l為在給定結果y的情況下引數w的取值情況，概率函式l為知道了引數w求得y的取值；有了拋硬幣情況的概率分布這裡就可以給出似然函式：
似然函式求的是在給定樣本向量y的情況下，符合該概率分布的引數向量w取值可能性；該似然函式求的是在w取何值時y=5的可能性更高；就問題而言就是求w取何值時
的最大值，就如之前梯度下降法一樣，求該函式的偏導數就可以求得極大值； 由於直接求偏導數比較複雜，通常情況下都會求對數似然函式，對數函式為單調遞增的所以與似然函式具有同樣的最大值，該對數似然函式為：
下面對該似然對數進行求關於w的偏導數：
要求其最大值就是求該導數的拐點，也就是令函式等於0；
通過求l關於w的偏導數求得w=0.5，於我們上面概率中的w時一致的，也就是說當w=0.5時y正面出現的次數等於5的可能性是最高的；
為誤差值，所以我們也可以變為：
代表的是誤差，我們知道模型與實際的結果值時乙個連續隨機變數，也就是說損失函式（loss function）的值時連續隨機變數，也就是，模型不可能考慮到所有的特徵那也可能就過擬合了所以就會存在噪音，一般來說多種噪音疊加會呈現出正態分佈的所以這裡假設是正態分佈的，訓練模型的資料集中肯定不止一條記錄，但結果只有乙個，所以可以假設每條記錄誤差都是獨立同分布的；
所以線性回歸的概率密度函式為：
則似然函式為：
上面假設過每條記錄誤差都是獨立同分布的，所以資料集的聯合密度為：
按照慣例直接求解似然函式比較麻煩所以求解對數似然函式：
然後求l關於w的偏導數，令其等於0求拐點
把式子轉為向量形式：
所以到這一步我們已經求得到了
，這與前面我們通過最小二乘法求得的矩陣方程一樣，所以w也一定是我們這裡求得的w正確解；
使用最大似然法求解問題的步驟為：
一、確定問題的隨機變數型別是離散隨機變數還是連續隨機變數
二、得出問題的概率分布
三、概率函式轉為似然函式
四、似然函式取對數
五、求關於某變數的偏導數
六、解似然方程
最大似然估計解決線性回歸
本文章純屬個人學習筆記。我們得到一堆資料 xi,yi 現在要用線性方程的形式去做回歸，線性方程結構為 y f x e,其中f x w x，w是我們要進行估計的引數向量，e是雜訊，且該雜訊服從均值為0高斯分布，即 e n 0,sigema 2 假如說現在有乙個w 此w並不是最終的w 對於每乙個實際得到...
線性回歸損失函式推導 最大似然問題解析
線性回歸損失函式推導 最大似然問題解析。把統計看了一遍就是為了這裡 線性回歸假設函式為 y tx role presentation y txy tx 之前是根據函式影象推導出損失函式為誤差平方和，這次用統計學方法推導。擬合資料，就是把誤差減到最小 誤差 y tx role presentation...
似然函式與最大似然估計
概率用於在已知一些引數的情況下，接下來的觀測所得到的結果，而似然性則是用於在已知某些觀測所得到的結果時，對有關事物性質的引數進行估計。是一種關於統計模型中引數的函式。例如，已知有事件a發生，運用似然函式，我們估計引數b的可能性。表明在已知觀測結果情況下，似然函式的值越高，該引數值可使模型越合理。最大...