softmax用於多分類過程，簡單來說，它將神經元的輸出對映到[0,1]之間，並且歸一化保證和為1，從而使多分類的概率之和也為1.也就是，多分類問題中，我們希望得到的是取到每個分類的概率，即概率最大的那類可以經常被取到，概率較小的可以偶爾被取到。
函式表示式：
其中，vi 是分類器前級輸出單元的輸出。總的類別個數為 c。si 表示的是當前元素的指數與所有元素指數和的比值。下圖更易直觀理解：
在實際應用中，很有可能會出現溢位情況，因為如果v很大，經過指數運算以後會變的更大，往往可能出現溢位的情況。所以需要做一些處理：v中每個元素減去v中的最大值。
使用交叉熵作為損失函式。表示式為：
在softmax中，ti表示真實值，yi表示求出的softmax值。
公式的簡單含義：當yi越大(越接近1)，說明概率越大，lnyi越接近0，loss就越小。
求導過程參考了一篇部落格：
神經網路之softmax神經元
在之前的內容裡，我們採用的是sigmoid函式作為輸出層神經元。這裡我們介紹一種softmax函式作為新的輸出層。softmax本質上是一種歸一化的過程，假設神經元的帶權輸入為 zl j k wljk al 1 k bl j zjl kw jkla kl 1 bjl 定義輸出神經元的啟用值為 al ...
神經網路基礎
上面是前14個筆記的乙個示意圖，簡單了點，但是內容架構應該是有的，先容我再道一道，梳理下 首先整體的第一周的課程是神經 網路 對，通向神經網路的基礎的網路，其中講解了內容模組包括 二分類問題簡單來說就是1和0的問題，也就是著名的cat 和 noncat問題，這個處理是靠輸入，然後計算機整合處理矩陣輸...
神經網路基礎
3.梯度下降 4.反向傳播 由線性分類 看基礎概念 邏輯回歸 線性回歸 只有一套引數，行為 是一套引數對某樣本的 值進行分類，線性分類 是由n套引數 結果有n個種類 行為 是分別對某樣本給出不同類別下的得分 使用softmax分類器後是概率 基礎損失函式 從某樣本在各類的的得分情況看損失 當正確的種...