到現在我們的分類問題都只能識別0和1的問題，比如說是貓或者不是貓，那麼更複雜的問題怎麼辦呢？softmax回歸就能讓你在多分類中識別是哪乙個分類，而不只是二分類中識別。
如圖所示，這裡我們用c來表示想要分類的總類別。符合程式設計習慣，我們第乙個數是從0開始的。這裡我們的輸出層有4個。因為它必須輸出四個數，所以這四個數的**值概率加起來應該等於1.
在softmx網路中，最後一層，你也會像往常一樣計算各層的線性部分。整個網路的計算流程大概如上圖所示，最後根據哪個概率大輸出**值。
sofxmax還可以做什麼，我們可以舉乙個例子
如圖所示，這裡softmax網路在沒有隱藏層的情況下做的回歸分類。比如說這裡我們有兩個輸入，有四個輸出，並最終生成**。如圖所示，這裡雖然是線性分類，但是的確可以讓這些資料分到三個類別當中。圖中的顏色顯式了softmax分類器的輸出的閾值，左上角的輸出的著色是根據三種輸出中概率最高的那種。這個顯示了softmax在沒有隱藏層的情況下可以做到的事情。等有了更多的隱藏層的時候就可以學習得到更複雜的非線性決策邊界，來區分不同的分類。
如圖所示，這是我們定義成本函式的方式。因為對於真實的值而言，比如說是cat，那麼對應的y值是1，而y^
y
^是乙個概率值，於是loss function中y就不起作用，而要保證loss function盡可能的小就需要y的**值盡可能的大（雖然不可能大過1），所以這麼寫loss function還是有一定的實際意義的。
上面說的是單樣本訓練，那麼整個訓練集的損失函式j又是如何呢？如圖所示，就是對整個訓練樣本去在loss function然後取平均值。
注意到的是每乙個小樣本都是4×1的向量，那麼大樣本y就是乙個矩陣形式，是4×m的。
最後我們看一下softmax輸出層如何實現梯度下降。
如圖所示，我們之前講了該演算法的前向傳播過程，那麼反向傳播過程是什麼樣的呢？
反向傳播的關鍵步驟是對最後一層的z進行求導操作，dz
[l]=
y^−y
d z[
l]=y
^−y吳教主深度學習和神經網路課程總綱
Softmax回歸練習
整個流程包括以下四部分 1 定義演算法公式，也就是神經網路的forward時的計算 y softmax w.tx b 2 定義損失函式 h y y log y 並制定優化器 梯度下降 3 迭代的對資料進行訓練 4 在測試集或驗證集上對準確率進行評測 import tensorflow as tf 匯...
SoftMax回歸詳解
損失函式 梯度下降法求引數 omega b bb 實現與 logistic 回歸的關係 重點 關係 求導的關係 重點 from sklearn import datasets import numpy as np iris datasets.load iris 載入鳶尾花資料集 x iris dat...
線性回歸與softmax回歸的區別
線性回歸是一種回歸演算法，根據當前資料去學習直線的兩個引數。可以用輸入特徵維度為2輸出為1的單層神經網路來實現。線性回歸模型適 於輸出為連續值的情景 softmax回歸，是一種分類方法，模型輸出可以是 個 像影象類別這樣的離散值。對於這樣的離散值 問題，我們可以使 諸如softmax 回歸在內的 分...