在使用logistic做線性回歸時,如果我們遇到多分類的問題,我們可以考慮使用softmax函式進行篩選
函式公式如下:so
ftma
x(yi
)=expyi∑
jexpyj
原理是對logistic回歸所取得的評分(score)逐個求對數,然後除以所有評分的對數的總和,可以理解為取評分最高的乙個分類。而且softmax所求得所有分類的概論加起來剛剛好等於1(參加附圖,x軸為最有可能分類的評分,藍色線為評分等於x的概率,黃色線是評分為x*0.5的概率,綠色線是x*0.2的概率)。
我們可以使用python實現softmax,而且只需要一行
import bumpy as np
def softmax(x):
return np.exp(x)/np.sum(np.exp(x),axis=0)
通過softmax函式,我們就可以使用線性回歸進行機器學習的多分類
p.s.可以使用以下**,復現上圖的結果
import matplotlib.pyplot as plt
x = np.arange(-2, 4 , 0.1)
scores = np.vstack([x, 0.4 * x , 0.2 * x])
plt.plot(x, softmax(scores).t, linewidth=2)
plt.show()
本文同步發表在我的個人**: 機器學習中的softmax函式 機器學習 softmax啟用函式
softmax函式 softmax函式,一般用於多分類的問題上,將多個神經元的輸入,對映在 0,1 之間。可以當作概率的計算。這一點跟sigmoid函式相似。softmax的計算公式為 s i ei j 1ne js i frac n e j si j 1n ejei 值得關注的是 i 1nsi 1...
機器學習 Softmax推導
lr可以看成是softmax的特例。lr主要是用於二分類,如果面臨的是多分類問題,可以用softmax。softmax通常也是深度學習影象識別網路的最後一層。在lr中,引數 是乙個向量,而在softmax中,引數可以看成是乙個矩陣。也就是每乙個輸出都對應著乙個引數向量 h xi p yi 1 x i...
機器學習之Softmax回歸模型
softmax在機器學習中有非常廣泛的應用,但是剛剛接觸機器學習的人可能對softmax的特點以及好處並不理解,其實你了解了以後就會發現,softmax計算簡單,效果顯著,非常好用。我們先來直 一下,softmax究竟是什麼意思 我們知道max,假如說我有兩個數,a和b,並且a b,如果取max,那...