softmax在機器學習中有非常廣泛的應用，但是剛剛接觸機器學習的人可能對softmax的特點以及好處並不理解，其實你了解了以後就會發現，softmax計算簡單，效果顯著，非常好用。
我們先來直**一下，softmax究竟是什麼意思
我們知道max，假如說我有兩個數，a和b，並且a>b，如果取max，那麼就直接取a，沒有第二種可能
但有的時候我不想這樣，因為這樣會造成分值小的那個飢餓。所以我希望分值大的那一項經常取到，分值小的那一項也偶爾可以取到，那麼我用softmax就可以了 現在還是a和b，a>b，如果我們取按照softmax來計算取a和b的概率，那a的softmax值大於b的，所以a會經常取到，而b也會偶爾取到，概率跟它們本來的大小有關。所以說不是max，而是softmax 那各自的概率究竟是多少呢，我們下面就來具體看一下
假設我們有乙個陣列，v，vi表示v中的第i個元素，那麼這個元素的softmax值就是
這個定義可以說非常的直觀，當然除了直觀樸素好理解以外，它還有更多的優點
在神經網路的計算當中，我們經常需要計算按照神經網路的正向傳播計算的分數s1，和按照正確標註計算的分數s2，之間的差距，計算loss，才能應用反向傳播。loss定義為交叉熵
當我們對分類的loss進行改進的時候，我們要通過梯度下降，每次優化乙個step大小的梯度
我們定義選到yi的概率是
最後結果的形式非常的簡單，只要將算出來的概率的向量對應的真正結果的那一維減1，就可以了
舉個例子，通過若干層的計算，最後得到的某個訓練樣本的向量的分數是[ 1, 5, 3 ], 那麼概率分別就是[0.015,0.866,0.117],如果這個樣本正確的分類是第二個的話，那麼計算出來的偏導就是[0.015,0.866−1,0.117]=[0.015,−0.134,0.117]，是不是很簡單！！然後再根據這個進行back propagation就可以了
softmax函式詳解
softmax函式，又稱歸一化指數函式。它是二分類函式sigmoid在多分類上的推廣，目的是將多分類的結果以概率的形式展現出來。下圖展示了softmax的計算方法 下面為大家解釋一下為什麼softmax是這種形式。首先，我們知道概率有兩個性質 1 的概率為非負數 2 各種 結果概率之和等於1。sof...
SoftMax回歸詳解
損失函式 梯度下降法求引數 omega b bb 實現與 logistic 回歸的關係 重點 關係 求導的關係 重點 from sklearn import datasets import numpy as np iris datasets.load iris 載入鳶尾花資料集 x iris dat...
softmax函式應用
softmax函式應用 1.softmax初探 在機器學習中，softmax是十分常用而且重要的乙個函式，尤其在多分類的場景中使用廣泛。它把一些輸入對映為0 1之間的實數，並且歸一化保證和為1，因此多分類的概率之和也剛好為1。首先我們簡單來看看softmax是什麼意思。顧名思義，softmax由兩個...