softmax 簡單講解

2021-10-03 17:42:41 字數 490 閱讀 1357

softmax(軟最大輸出函式),可以將輸入序列對映到 0-1 之間,且對映後的序列和為 1,這樣就可以理解為,將輸入序列轉化為分別對應屬於某些分類的概率,因此常常用來作為多分類任務中的啟用函式,同時使用交叉熵作為損失函式。

softmax 函式

softmax 求導時分兩種情況:

當 i = j 時:

當 i ≠ j 時:

其實很好理解,就是softmax進行一次log運算。為什麼要取log,我們在交叉熵這部分進行講解。

softmax常常用來與交叉熵一起,作為神經網路多分類任務的損失函式,後續內容:必能讀懂的 交叉熵詳解,pytorch中交叉熵的使用

通俗易懂的講解Softmax

s of tmax softmax softma x是機器學習中很重要的分類函式。通常位於神經網路的最後一層,它的作用是將前面輸出層的資料轉換為概率分布,這個概率分布的特點就是 任意事件發生的概率在0 1之間,且所有事件發生的概率總和為1,並且總有乙個事件會發生。假設原始的神經網路輸出為y1,y2....

C STL Vector簡單講解

線性容器,內儲存資料的型別相同 優點 快速訪問資料 動態擴充套件容量 資料連續儲存,空間利用率高 缺點 資料插入時間代價高 動態增加容量時,時間代價較高 適用 需要大量隨機訪問,不需要經常插入刪除的情況 include stdafx.h include include using namespace...

IOS block簡單講解

block定義 int sum int a,int b int a,int b 返回型別 blockname 引數型別 引數1,引數型別 引數2 引數型別 引數1,引數型別 引數2 呼叫block int n n sum 10,15 nslog a b i n typedefint mysum in...