深度學習最終目的表現為解決分類或回歸問題。在現實應用中，輸出層我們大多採用softmax或sigmoid函式來輸出分類概率值，其中二元分類可以應用sigmoid函式。
而在多元分類的問題中，我們預設採用softmax函式，具體表現為將多個神經元的輸出，對映到0 ~ 1的區間中，按概率高低進行分類，各概率之和為1。
某分類的概率數學表示式為：yi = ei / ∑j=1ej
具體來說，假設有四個輸出單元，分別為：
可以看出 y1 + y2 + y3 + y4 = 1。並且其中某神經元的輸出若增加，則其他神經元的輸出則減少，反之也成立。
最後再看看softmax函式如何求導，令y = ex
i / ∑exk ，分兩種情況：
1. i為softmax值，我們對exi 求導，
與此相關的基礎求導公式：(u/v)' = (u' v - uv') / v2 和 (ex)' = ex ，並應用鏈式法則可得求導過程：
dy/dexi = ( ex
i / ∑exk)'
= (exi * ∑exk - exi * exi ) / (∑exk)2
= ex
i / ∑exk - (ex
i / ∑exk ) * (ex
i / ∑exk )
= yxi - yxi
22. i不為softmax值，我們依然對exi 求導，其過程為：
dy/dexi = ( ex
j / ∑exk)' 注：i ≠ j
= (0 * ∑exk - exj * exi) / (∑exk)2
= -1 * (ex
i / ∑exk ) * (exj
/ ∑exk)
= - yxi * yxj
深度學習基礎系列 VGG
深度學習基礎系列 vgg visual geometry group是牛津大學的乙個科研團隊。他們推出的一系列深度模型，被稱作vgg模型。名 very deep convolutional networks for large scale visual recognition vgg模型是2014年...
深度學習系列 深度學習簡介
機器學習 使用計算機系統利用經驗改善效能，是人工智慧領域的分支，也是實現人工智慧的一種手段。表徵學習關注如何自動找出表示資料的合適方式，以便更好地將輸入變換為正確的輸出。深度學習 具有多級表示的表徵方法，在每一級 原始資料開始 通過簡單的函式將該級的表示變換為更高階的表示。可以將深度學習看作多個簡單...
機器學習系列四 數學基礎
本部分每個知識點分享比較好的部落格，若侵權就刪了。1.導數 2.偏導數與梯度 3.泰勒公式 1.向量與矩陣 2.行列式 3.雅可比矩陣和hessian矩陣 4.特徵值與特徵向量 5.奇異值分解 6.二次型 7.向量與矩陣導數 1.概率公式 1 條件概率 2 全概率公式 3 貝葉斯公式 2.概率分布 ...