最小二乘,最大似然,都帶有最字,那他們之間有什麼關係呢?
定義:
最大似然估計(maximum likelihood estimation, mle)一種重要而普遍的求估計量的方法.
最大似然法明確地使用概率模型，其目標是尋找能夠以較高概率產生觀察資料的系統發生樹
通俗的認為,多次觀測到的結果就是可能發生的結果,也就是觀察樣本概率最大的引數就是整體
分布的引數
總的來說,最大似然就是你已經知道乙個結果,反推這個出現這個結果最大的原因
公式
定義:
最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達公式的推導計算:
最小二乘法總結
最小二乘法主要是權衡,就像在多條線中中選擇一條距離最短的到達目標的直線最大似然與最小二乘法兩者之間的關係:測量誤差（測量）服從高斯分布的情況下， 最小二乘法等價於極大似然估計。
(這一點詳細可見
參考以及資料來自於:
定義:
在貝葉斯統計學中，「最大後驗概率估計」是後驗概率分布的眾數。利用最大後驗概率估計可以獲得對實驗資料中無法直接觀察到的量的點估計。後驗在貝葉斯公式當中的位置
與最大似然的關係:
它與最大似然估計中的經典方法有密切關係，但是它使用了乙個增廣的優化目標，進一步考慮了被估計量的先驗概率分布。所以最大後驗概率估計可以看作是規則化（regularization）的最大似然估計。首先我們將**結果分為四種情況,tp,fp,tn,fn分別對應一種ps:這部分有待更進一步討論,博主水平有限,僅限於討論在此,後續會繼續更新
我們用**的形式來表示
真實情況
正例反例
正例tp(真正例)
fn(假反例)
反例fp(假正例)
tn(真反例)
查準率p:
查全率r:
靈敏度
特異度
不同之處:
查全率和查準率其實主要的差別在於分母,查準率的分母是**為正的樣本數。查全率的分母是原樣本的所有正樣例數。
查準率和查全率是一對矛盾的度量。一般來說，查準率高時，查全率就偏低；而查全率高時，查準率一般就偏低.但是也有特殊情況.f1調和均值
最常用的描述方法就是f1調和均值
公式如下
f1一般形式
如果β>1,查全率有更大影響
如果β<1,查準率有更大影響
如果β=1,兩者影響力一樣,公式形同f1
最小二乘和最大似然
輸入一組向量xx x1 x2,xd 用線性模型 輸出變數y。y ww txx 1 其中ww 是權重,是線性模型的引數。在這裡，我們已經將輸入向量擴增為增廣向量xx x1 x2,xd,1 最後的1所對應的權重為截距。這種做法方便後續處理。我們有一批樣本 x x1,y 1 xx2,y2 xxn yn n...
最大似然與最小二乘
看似最小二乘估計與最大似然估計在推導得到的結果很相似，但是其前提條件必須引起大家的注意！對於最小二乘估計，最合理的引數估計量應該使得模型能最好地擬合樣本資料，也就是估計值和觀測值之差的平方和最小，其推導過程如下所示。其中q表示誤差，yi表示估計值，yi 表示觀測值。對於最大似然法，最合理的引數估計量...
最小二乘 最大似然和最大後驗的簡單總結
在真正了解乙個機器學習演算法的時候，發現有許多概念還是很模糊這裡整理了最小二乘法 least square 最大似然估計 maximum likelihood estimation 和最大後驗估計的關係。一 最小二乘法 最小二乘法的本質就是找到乙個估計值，使實際值與估計值的距離最小。而為了度量最小距...