在多分類問題中，如果有k種分類，最後輸出的是乙個k維向量
同時根據邏輯回歸的損失函式給出多分類問題的損失函式如①中所示
正則化項是對所有層涉及的θ值的平方和（不包含下角標為0的項）
在上面的多分類問題中，根據前面學習的經驗，無論是什麼優化演算法，如梯度下降法，都需要計算出損失函式對於每乙個θ值的偏導數實現對其的迭代更新，直觀上來看，bp演算法利用了鏈式求導法則，從而使前一層可以用本層的的δ值進行計算，具體過程都通過筆記進行了順序化整理。
在神經網路模型的構建上，輸入層根據x的維度確定，輸出層根據類別確定
在隱藏層的確定上，可以選擇單層與多層，但一般隱藏層的單元數是相同的，且一般要稍大於輸入維度
ps.顯然是單元數越多越好，但計算量也隨之增大。
機器學習理論與實踐 05 神經網路（1）
神經網路十分適用於解決複雜的非線性分類問題，因為前面所學的邏輯回歸在解決非線性問題上愈發複雜。神經網路的歷史此處略過不提，他主要是要模擬大腦的功能，並從簡單的乙個神經元開始分析。對於乙個簡單的模型來說，第乙個標 部分 神經元接收來自n個其他神經元傳遞過來的輸入訊號，這些輸入訊號通過帶權重的連線進行傳...
機器學習理論 BP神經網路
機器學習 擬人 有監督的機器學習 多元線性回歸 回歸 邏輯回歸 分類 非線性的演算法，非線性的演算法可以來解決更加複雜的問題 神經網路演算法也是後面深度學習的時候的基礎 ann artificial neural network mlp multiple layer percepton cnn rn...
深度學習理論 殘差神經網路
我們知道，網路層數越深，其表達能力越強，但之前人們並不敢把網路設計的太深，因為會有梯度衰減等各種問題讓網路的效能大幅度下滑，用一些正則化，relu等啟用函式也不能完全避免。但有了殘差網路，人們可以把網路的層數設計的很深，比如幾百層。其基本思想如下 在傳統的平網路 plain network 中，一層...