做過多分類任務的同學一定都知道softmax函式。softmax函式，又稱歸一化指數函式。它是二分類函式sigmoid在多分類上的推廣，目的是將多分類的結果以概率的形式展現出來。下圖展示了softmax的計算方法：
下面為大家解釋一下為什麼softmax是這種形式。
首先，我們知道概率有兩個性質：1）**的概率為非負數；2）各種**結果概率之和等於1。
softmax就是將在負無窮到正無窮上的**結果按照這兩步轉換為概率的。
1）將**結果轉化為非負數
下圖為y=exp(x）的影象，我們可以知道指數函式的值域取值範圍是零到正無窮。softmax第一步就是將模型的**結果轉化到指數函式上，這樣保證了概率的非負性。
2）各種**結果概率之和等於1
為了確保各個**結果的概率之和等於1。我們只需要將轉換後的結果進行歸一化處理。方法就是將轉化後的結果除以所有轉化後結果之和，可以理解為轉化後結果佔總數的百分比。這樣就得到近似的概率。
1）將**結果轉化為非負數
y1 = exp(x1) = exp(-3) = 0.05
y2 = exp(x2) = exp(1.5) = 4.48
y3 = exp(x3) = exp(2.7) = 14.88
2）各種**結果概率之和等於1
z1 = y1/(y1+y2+y3) = 0.05/(0.05+4.48+14.88) = 0.0026
z2 = y2/(y1+y2+y3) = 4.48/(0.05+4.48+14.88) = 0.2308
z3 = y3/(y1+y2+y3) = 14.88/(0.05+4.48+14.88) = 0.7666
總結一下softmax如何將多分類輸出轉換為概率，可以分為兩步：
1）分子：通過指數函式，將實數輸出對映到零到正無窮。
2）分母：將所有結果相加，進行歸一化。
下圖為史丹福大學cs224n課程中最softmax的解釋：
一分鐘理解sdk
外語 software development kit 中文 軟體開發工具包 含義 一般都是一些軟體工程師為特定的軟體包 軟體框架 硬體平台 作業系統等建立應用軟體時的開發工具的集合。通俗 是指由第三方服務商提供的實現軟體產品某項功能的工具包。出現形式 一般以集合kpi和文件 範例 工具的形式出現 ...
一分鐘sed入門（一分鐘系列）
1.簡介 sed是一種行編輯器，它一次處理一行內容。2.sed呼叫方式 sed options command file s sed options f scriptfile file s 第一種直接在命令列中執行，第二種把命令寫到了指令碼中，二者無本質區別。示例 1 列印hello.txt的內容 ...
一分鐘看懂mysql 一分鐘，看懂易貨
從20世紀80年代開始，易貨公司在美國加拿大 澳大利亞等國興起，成為這些國家減少現金用量 增加銷售 減少庫存 開發新客戶 開闢新市場 促進經濟發展的重要產業。也成為了企業消化庫存商品 剩餘生產能力 無形資產的有效方式和在遭遇資金瓶頸時的新選擇。2015年以來，中國線下易貨店開始了矇眼狂奔，在河南南陽...