softmax 是指數標準化函式，公式如下：第i個z求指數之後，除以所有z的求指數後的和。如果忽略指數函式，可以理解為佔比。在概率論裡面，softmax函式的結果代表了類別分布，也就是說k個不同可能結果的概率分布。所以softmax經常用於深度學習和機器學習的分類任務中。
求導：
log_softmax其實就是對softmax取對數。至於目的個人認為是為了縮小值的範圍，也有可能考慮到似然估計在裡頭。
求導：
softmax和log_softmax例項如下：xex
softmax
logsoftmax
0.12345
1.131393
0.200273
-0.69838
0.3256
1.384861
0.24514
-0.61059
0.2356
1.265668
0.224041
-0.64967
-0.3256
0.722094
0.127821
-0.8934
0.13562
1.145247
0.202725
-0.69309
total
5.649263
1-3.54513
交叉熵與Softmax
分類問題中，交叉熵常與softmax結合使用，交叉熵能夠衡量同乙個隨機變數中的兩個不同概率分布的差異程度，在機器學習中就表示為真實概率分布與 概率分布之間的差異。交叉熵的值越小，模型 效果就越好。資訊是用來消除隨機不確定性的東西 資訊量大小與資訊發生的概率成反比，概率越大，資訊量越小 概率越小，資訊...
Softmax函式與交叉熵
在logistic regression二分類問題中，我們可以使用sigmoid函式將輸入wx b對映到 0,1 區間中，從而得到屬於某個類別的概率。將這個問題進行泛化，推廣到多分類問題中，我們可以使用softmax函式，對輸出的值歸一化為概率值 這裡假設在進入softmax函式之前，已經有模型輸出...
全面理解softmax與交叉熵
交叉熵最早起源於資訊理論，1948 年，夏農提出了 資訊熵 sh ng 的概念，才解決了對資訊的量化度量問題。一條資訊的資訊量大小和它的不確定性有直接的關係。比如說，我們要搞清楚一件非常非常不確定的事，或是我們一無所知的事情，就需要了解大量的資訊。相反，如果我們對某件事已經有了較多的了解，我們不需要...