關於對數似然法原理，網上部落格眾說紛紜，但能說清楚，解釋對數似然公式為何如此卻寥寥無幾。今天我就發個部落格，來和大家討論一下。
————————————————————正文如下———————————————————————
對數學家們提供的最簡式改為以下通俗易懂式，先不要拿走符號以便理解
上述的對數似然代價公式m為樣本數量，x為樣本，y為標籤，θ為權重向量。
上式由兩部分組成，分別對應了標籤（答案）為0和1時的代價，針對前半部分：
括號內的logisitic函式相信大家熟的不能再熟，其值為0-1的數。先說這裡的y與後半部分的（1-y）從何而來，先不管**結果，當標籤（答案）為1時，後半部分直接消失，上式只剩下了前半部分，前半部分的意義在於**結果和真實結論1之間的誤差程度。這裡的y或者之後的（1-y）都只是僅僅起到乙個需要計算和不需要計算的作用，就好比乙個if判斷。這時標籤（答案）=1，h（x）是**值，則需要的便是乙個可以取到偏差程度的方法。即表示如左下所示的紫色線段長度的的方法。
當h（x）越靠近1時，則 -ln(h(x)) 表示代價越小，當h（x）越靠近0時代價越來越大，正如自然規律，做的越錯打的越狠。比直接使用線性代價1-h(x)無疑優秀很多。
針對公式的後半部分，
當標籤（答案）=0時，前半部分直接消失，同理標籤為1的時候，當h（x）越接近0，所受到的懲罰越小，也就是當**值h（x）-->0時，
故，對數似然代價公式通俗易懂。
1.對數似然代價公式的核心思想是錯得越錯，打得越狠。
2.在對代價公式進行梯度下降的時候，使用偏導計算偏導項
邏輯回歸代價函式及其梯度下降公式
cost函式形式 簡單回顧一下幾個變數的含義 表1 cost函式解釋 x i 每個樣本資料點的特徵值 y i 每個樣本資料的所屬類別標籤 m樣本資料點的個數 h x 樣本資料的概率密度函式，即某個資料屬於1類 二分類問題 的概率 j 代價函式，估計樣本屬於某類的風險程度，越小代表越有可能屬於這類 我...
第三週 邏輯回歸代價函式求導過程
第三週課程中，邏輯回歸代價函式的求導過程沒有具體展開，在此推導並記錄 j theta frac left sum y log h theta x 1 y log 1 h theta x right 其中 h theta x frac x 為了避免求導過程太冗長複雜，我們做一些顯示的簡化 j thet...
1 回歸 一元線性回歸 代價函式 梯度下降法
1 回歸是達爾文表弟發現的，就是說人類總體有乙個平均身高。那個高個子生的孩子都個高，矮的孩子生的矮。但是他們的下一代大部分都往平均身高長，也就是說特別高的人，他們的孩子會很高，但是往往比他們自己矮。特別矮的人他們生的孩子會矮一些，但是會比自己的父母高，他們都有這種趨勢。表弟管這個叫做回歸。2 一元線...