目錄邏輯回歸（\(logistic\ \ regression\)）是分類方法。可以處理二元分類和多元分類。
邏輯斯諦分布的密度函式 \(f(x)\) 和分布函式 \(f(x)\) 如圖。分布函式以點 \(\left(\mu ,\frac\right)\) 中心對稱。
二元邏輯回歸模型是如下條件概率分布：
\[p(y=1|x)=\frac}}
\tag
\]\[p(y=0|x)=\frac}
\tag
\]\(x\) 是實數，\(y\in\\)，\(\theta\) 稱為權值向量，\(b\) 稱為偏置。
對給定的樣本 \(x\)，帶入式 \((1)\)、\((2)\) 求得兩個概率值。比較概率值的大小，將 \(x\) 分為概率大的那一類。
為了方便，將 \(\theta\) 和 \(x\) 加以擴充，即 \(\theta=(\theta^,\theta^,...,\theta^,b)^t\)，\(x=(x^,x^,...,x^,1)^t\)
二元邏輯回歸模型如下：
\[p(y=1|x)=\frac}}
\tag
\]\[p(y=0|x)=\frac}
\tag
\]乙個事件的機率指發生的概率與不發生的概率比值。
事件的對數機率（\(logit\) 函式）是:
\[logit(p)=log \frac
\]由式 \((3)\)、\((4)\)得
\[log \frac=\theta\cdot x
\]即輸出 \(y=1\) 的對數機率是 由輸入 \(x\) 的線性函式表示的模型，即邏輯回歸模型。
則\[p(y=1|x)=\frac}
\]線性回歸模型\(y\) 和\(x\) 之間的線性關係係數 \(\theta\)，滿足 \(y=\theta\cdot x\)。此時 \(y\) 是連續的，所以是回歸模型。
想要 \(y\) 離散，對 \(y\) 做一次轉換，變為 \(g(y)\)。如果 \(g(y)\) 結果是兩種，就是二元分類模型。
\(g\) 一般取 \(sigmoid\) 函式：
\[g(z)=\frac}
\]取 \(sigmoid\) 函式的原因有兩個：
令 \(g(z)\) 中的 \(z\) 為：\(z=\theta\)，得到二元邏輯回歸的一般形式：
\[h_\theta(x)=\frac)}}
\]線性回歸 \(y\) 是連續的，用均方誤差定義損失函式。但邏輯回歸不連續，用極大似然估計法求損失函式。
設：\[\begin
& p(y=1|x)=h_\theta(x) \\
& p(y=0|x)=1-h_\theta(x)
\end
\]兩個式子寫成乙個式子：
\[p(y|x)=h_\theta(x)^y(1-h_\theta(x))^
\]似然函式為：
\[l(\theta)=\prod_^(h_\theta(x^))^}(1-h_\theta(x^))^}
\]\(m\) 為樣本個數。
對數似然函式取反即為損失函式：
\[j(\theta)=-lnl(\theta)=-\sum_^m(y^log(h_\theta(x^))+(1-y^)log(1-h_\theta(x^))
\]損失函式矩陣形式：
\[j(\theta)=-y^tlogh_\theta(x)-(e-y)^tlog(e-h_\theta(x))
\]其中 \(e\) 為全 \(1\) 向量。
損失函式最小話，常見的有梯度下降法、座標軸下降法、等牛頓法。
邏輯回歸有時也有過擬合問題，需要正則化。
\(l1\) 正則化：
\[j(\theta)=-y^tlogh_\theta(x)-(e-y)^tlog(e-h_\theta(x))+\alpha\|\theta\|_1
\]其中 \(\|\theta\|_1\)為 \(\theta\) 的 \(l1\) 範數。
\(l1\) 正則化損失函式優化方法常用：座標軸下降法、最小角回歸法。
\(l2\) 正則化：
\[j(\theta)=-y^tlogh_\theta(x)-(e-y)^tlog(e-h_\theta(x))+\frac\alpha\|\theta\|_2^2
\]其中 \(\|\theta\|_2\)為 \(\theta\) 的 \(l2\) 範數。
\(l1\) 正則化損失函式優化方法與普通邏輯回歸類似。
邏輯回歸尤其二元邏輯回歸，雖然沒支援向量機（\(svm\)）佔主流，但訓練速度比 \(svm\) 快很多。
邏輯回歸原理
而在最大熵原理的指導下，我們知道了那條曲線應該是乙個什麼樣子的。首先，回顧我們之前推導出的最大熵模型為 ex p i 1nw ifi x,y ye xp i 1n wifi x,y 在二分類的邏輯回歸模型中，y的取值假定有兩種 y0 y1 那麼對應到特徵函式 fi x,y 上，我們可以設定 f x,...
邏輯回歸原理
最大似然估計 現在已經拿到了很多個樣本 你的資料集中所有因變數 這些樣本值已經實現，最大似然估計就是去找到那個 組 引數估計值，使得前面已經實現的樣本值發生概率最大。因為你手頭上的樣本已經實現了，其發生概率最大才符合邏輯。這時是求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線性加總...
邏輯回歸原理
看了很多遍邏輯回歸的原理，但是發現自己還是不能完整的講清楚它的原理，所以在這裡寫一篇部落格來理清楚自己的思路。水平有限，如有錯誤還請指正。邏輯回歸是利用回歸類似的方法來解決分類問題。假設有乙個二分類問題，輸出y sigmoid函式的影象 sigmoid函式中的z就是線性函式的z，因為g z 最後輸出...