一、邏輯回歸
邏輯回歸（
logistic regress
）是乙個二分類的問題，其輸出y的值為0或1。用於解決監督學習問題的學習演算法。logistic regress的目的就是使**值與真實值之間的誤差最小。損失函式（loss function）來衡量**值（y^(i)）與真實值（y(i)）之間的差異。**值計算如下：
y^(i) = h(w * x(i) + b)，h(x)為激勵函式。
在logistic回歸中，一般採用log函式計算loss。
成本函式是整個訓練集(m個訓練資料)的損失函式的平均值：
而我們的目的就是要找到引數w和b使得這個成本函式的值最小。這時候就需要用梯度下降法。
二維影象中來看，順著導數的方向，下降速度最快，用數學公式表達即是：
其中的「:=」意思為賦值，α為學習率，通常為乙個小於1的數，用來控制梯度下降過程中每一次移動的規格，相當於邁的步子大小。α的不宜太小也不宜過大：太小會使迭代次數增加，容易陷入區域性最優解；太大容易錯過最優解。
可以看出，給定乙個樣本，就輸出乙個概率值（分類的本質），該概率值表示的含義是這個樣本屬於類別』1』的概率，因為總共才有2個類別，所以另乙個類別的概率直接用1減掉剛剛的結果即可。如果現在的假設是多分類問題，比如說總共有k個類別。這時候就去要用softmax regression來得到每個類別的概率。
二、softmax回歸
1. 什麼是softmax
softmax 在機器學習和深度學習中有著非常廣泛的應用。尤其在處理多分類（c > 2）問題，分類器最後的輸出單元需要softmax 函式進行數值處理。關於softmax 函式的定義如下所示：
其中，vi 是分類器前級輸出單元的輸出。i 表示類別索引，總的類別個數為 c。si 表示的是當前元素的指數與所有元素指數和的比值。softmax 將多分類的輸出數值轉化為相對概率，更容易理解和比較。我們來看下面這個例子。
乙個多分類問題，c = 4。線性分類器模型最後輸出層包含了四個輸出值，分別是：
經過softmax處理後，數值轉化為相對概率：
很明顯，softmax 的輸出表徵了不同類別之間的相對概率。我們可以清晰地看出，s1 = 0.8390，對應的概率最大，則更清晰地可以判斷**為第1類的可能性更大。softmax 將連續數值轉化成相對概率，更有利於我們理解。
實際應用中，使用 softmax 需要注意數值溢位的問題。因為有指數運算，如果 v 數值很大，經過指數運算後的數值往往可能有溢位的可能。所以，需要對 v 進行一些數值處理：即 v 中的每個元素減去 v 中的最大值。
2 softmax回歸
softmax
回歸可以解決兩種以上的分類，該模型是logistic回歸模型在分類問題上的推廣。同樣的，softmax回歸的目的就是使**值y^(i)與真實值y(i)之間的誤差最小，不同的是y(i)可以有k個取值（即k類）。softmax函式的本質就是將乙個k維的任意實數向量壓縮（對映）成另乙個k維的實數向量，其中向量中的每個元素取值都介於（0，1）之間。
激勵函式如下：
此時，損失函式如下：
其中的1是乙個指示性函式，即當大括號中的值為真時，該函式的結果就為1，否則其結果就為0。
上述公式簡化就是（下述是概率，上述是損失）
深度學習（正則化的線性回歸和邏輯回歸）
clear clc 載入資料 x load ex5linx.dat y load ex5liny.dat 顯示原始資料 plot x,y,o markeredgecolor b marke cecolor r markersize 10 將特徵值變成訓練樣本矩陣 x ones length x 1 ...
深度學習總結四 邏輯回歸總結
邏輯回歸 公式推導 邏輯回歸是乙個分類演算法。所以大致步驟如下 sigmoid函式二分類 對線性函式y w x by wx b y wx b 使用sigmoid函式包裝為 y sigma y y 輸出 0,1 0,1 0,1 的概率值。大於0.5為正樣本，小於0.5為負樣本。優點 計算代價不高，易於...
邏輯回歸（一）
邏輯回歸這個名字聽起來與線性回歸有一定的相似，因為有回歸二字。實際上，邏輯回歸與線性回歸沒有什麼關係，邏輯回歸是分類模型的一種，對於任意的 x i,y i y i的取值為 0,1 本文主要從機器學習角度來闡述邏輯回歸模型，有些地方會兼顧統計學。邏輯回歸是用sigmoid函式將其值域壓縮到0，1之間。...