邏輯回歸
邏輯回歸是乙個二分類問題，在分類過程值中可以得到代分類樣本所屬類別的概率。對於輸入x和輸出**結果y=
，邏輯回歸採用sigmoid函式，將實數域的x對映到[0
,1] 區間。sigmoid函式如下所示 h(
θx)=
11+e
−θx
則可以得到輸入x屬於正例和反例的概率，如下 py
=1|x
=h(θ
x) p
y=0|
x=1−
h(θx
)
由於模型優化的目標是期望風險最小，由於這裡採用的是條件概率模型，換句話說，就是學習乙個使訓練集出現概率最大的引數
θ ，即使似然函式值最大的引數。從而
對於樣本集和未知引數，我們可以得到其似然函式 l(
x,y|
θ)=∏
ih(θ
xi)y
i(1−
h(θx
i))1
−yi
兩邊取對數，可以得到 ln
(l(x
,y|θ
))=∑
iyilog(h
(θxi
))+(
1−yi
)log(1
−h(θ
xi))
這裡需要注意的事，這裡採用了對數損失函式，雖然sigmoid函式是非線性函式，但是該事件的對數機率為θx
，即線性函式，（大概）因此邏輯回歸是乙個線性分類問題。
一般來說，優化問題轉化為最小優化問題。從而，我們可以得到邏輯回歸的代價函式為 lo
ss(x
,y|θ
)=−1
n∑i
為了提高目標函式的泛化能力，避免過擬合（一般來說過擬合是由於**函式具有高方差導致的——訓練集太小、模型過於複雜、雜訊干擾），引入正則項進行約束。正則化的目的是選擇經驗分險和模型複雜度同時小的模型。由於正則項一般是引數的單調遞增函式，模型越複雜，正則項越大。新增正則項之後的代價函式為 lo
ss(x
,y|θ
)=−1
n∑i+
λ||θ
||最小化目標函式，可以採用梯度下降求解。
從而有 θ:=
θ−α∂
loss
∂θ其中，這裡假設正則項為2範數 ∂l
oss∂
θ=(y
i−h(
θxi)
)xi+
2λθ
逐層迭代可以得到目標函式，即**函式。
softmax
softmax即多項邏輯回歸，實現的是二分類到多分類的推廣。
假設分類類別為
，對於每乙個類別，需要單獨學習乙個引數θk
，從而**函式為 p(
y=k|
x)=e
θkx1
+∑eθ
kxp(y
=k|x
)=11
+∑eθ
kx
學習筆記（三）邏輯回歸
線性回歸和邏輯回歸其實沒有多大的區別，就是邏輯回歸多了乙個sigmoid函式，使樣本能對映到 0,1 之間的數值，用來做分類問題。線性回歸 線性指輸入變數是一次的，回歸即擬合，線性回歸即 確定唯一的因變數 需要 的值 和乙個或多個數值型的自變數 變數 之間的關係。即 求出w，b的值y f x wx ...
學習筆記之邏輯回歸
引言 今天我們學習邏輯回歸。我們都知道線性回歸模型是y w tx b y w tx b y wtx b,我們對他進行變形，得到lny wtx blny w tx b lny wt x b,這就是 對數線性回歸 logit linear regression 就是我們所說的邏輯回歸。再變形y e wt...
邏輯回歸筆記
cost函式 邏輯回歸的代價函式，其實跟線性回歸有很大的不同。首先不僅僅是hypothesis函式的定義跟線性回歸很不一樣，理解邏輯回歸的最重要的一點就是先理解hypothesis函式。hypothesis的解釋是 在引數 下，輸入向量x對應y 1的概率 這裡，y 1 和y 0 就是我們分類的依據。...