3.梯度下降
4.反向傳播
由線性分類」看基礎概念
」邏輯回歸&線性回歸「 只有一套引數，」**行為「是一套引數對某樣本的**值進行分類，
」線性分類「 是由n套引數（結果有n個種類），」**行為「是分別對某樣本給出不同類別下的得分（使用softmax分類器後是概率），
基礎損失函式
從某樣本在各類的的得分情況看損失：
當正確的種類的得分比其他所有種類得分都高是才是ok的
剩下的比分全比」score for correct class「小1時損失為0
正則化基礎損失函式的缺陷：（多個種類得分相同或相近）
引入正則懲罰項：懲罰有些引數不考慮整體性，防止過擬合
終極版損失函式：
n是為了消除樣本個數對損失的影響
上面只是給出了損失函式和懲罰項的一種最簡單的樣例，其實有各種各樣的損失函式和懲罰項的softmax分類器的損失函式
企圖以歸一化分類概率作為輸出代替得分，
由於得分中可能含有負數，不能直接做歸一化，需要先exp再normalize
此時便得到了各類別的概率，損失的計算只和樣本標籤的那個類別的概率有關，運用-log函式來對映
這個只能算個基礎的損失函式，需要再帶個懲罰項
這是含負數的數集做歸一化的常用方法反向傳播&前向傳播區別
前向傳播：由樣本的資料和權重引數一步步求得損失loss的過程
反向傳播：根據loss值的情況往前一步步更新引數w的過程
反向傳播更新權重引數的原理
遵循鏈式法則，從最後乙個環節以此向前計算出每個環節的梯度下降方向，直到得到最初一步的權重引數的梯度下降方向（這也是個由最大的梯度一層一層被前面的環節繼承梯度的過程）
其中z是最大的梯度，剩下的一步一步都是他的子梯度
z，y，x…b都是有確定的值，所以最後每個權重引數都能得到乙個確定的子梯度
三種典型的計算環節
神經網路基礎
上面是前14個筆記的乙個示意圖，簡單了點，但是內容架構應該是有的，先容我再道一道，梳理下 首先整體的第一周的課程是神經 網路 對，通向神經網路的基礎的網路，其中講解了內容模組包括 二分類問題簡單來說就是1和0的問題，也就是著名的cat 和 noncat問題，這個處理是靠輸入，然後計算機整合處理矩陣輸...
神經網路基礎與人工神經網路
神經網路方面的研究很早就已出現，今天 神經網路 已是乙個相當大的 多學科交叉的學科領域。神經網路中最基本的成分是神經元模型。上圖中每個圓圈都是乙個神經元，每條線表示神經元之間的連線。我們可以看到，上面的神經元被分成了多層，層與層之間的神經元有連線，而層內之間的神經元沒有連線。為了理解神經網路，我們應...
神經網路基礎 迴圈神經網路RNN
在處理序列問題 如語言識別等 上，使用迴圈神經網路 recurrent neural networks，rnn 是很自然的方式 所謂迴圈神經網路，其實就是把上一時刻的資訊作為當前時刻輸入的一部分，從而實現資訊的傳遞 本文將先介紹基礎版rnn，並說明基礎版的問題，然後介紹改進版的迴圈神經網路lstm ...