目錄
1.名字理解
2.優點
3.缺點
4.應用
5.總結
1）軟最大，相較於硬最大來說。硬最大非黑即白，只能輸出乙個最大值；軟最大輸出的是——每個類別最大的概率分布。
2）eg就像一篇文章，可能有多個主題，輸出每個可能主題的概率值。
作為啟用函式，softmax採用指數函式形式——
1）將輸出的數值拉開距離，以此來分類。
2）反向傳播梯度下降更新引數的時候方便求導。
作為啟用函式，softmax採用指數函式形式——
1）自變數大，輸出值的數值可能溢位。
2）配套的損失函式是交叉熵，也可能溢位（so有softmax和交叉熵統一介面提高數值穩定性）。
單個輸出節點的二分類問題一般在輸出節點上使用sigmoid函式，擁有兩個及其以上的輸出節點的二分類或者多分類問題一般在輸出節點上使用softmax函式。
可以看出softmax和交叉熵損失函式的梯度下降更新結果：
1）先將所有的 值減去對應的softmax的結果，可以簡單記為推所有；
2）然後將真實標記中的對應位置的值加上1，簡單記為拉乙個；
總的概括softmax+交叉熵損失函式引數更新為"推所有，拉乙個"。
深入理解softmax函式
softmax回歸模型，該模型是logistic回歸模型在多分類問題上的推廣，在多分類問題中，類標籤 可以取兩個以上的值。softmax模型可以用來給不同的物件分配概率。即使在之後，我們訓練更加精細的模型時，最後一步也需要用softmax來分配概率。本質上其實是一種多種型別的線性分割，當類標籤 取 ...
Softmax函式詳解
softmax在機器學習中有非常廣泛的應用，但是剛剛接觸機器學習的人可能對softmax的特點以及好處並不理解，其實你了解了以後就會發現，softmax計算簡單，效果顯著，非常好用。我們先來直 一下，softmax究竟是什麼意思 我們知道max，假如說我有兩個數，a和b，並且a b，如果取max，那...
softmax函式應用
softmax函式應用 1.softmax初探 在機器學習中，softmax是十分常用而且重要的乙個函式，尤其在多分類的場景中使用廣泛。它把一些輸入對映為0 1之間的實數，並且歸一化保證和為1，因此多分類的概率之和也剛好為1。首先我們簡單來看看softmax是什麼意思。顧名思義，softmax由兩個...