如無特殊說明, 按以下計：
線性層(l)為：\(h=x*w+b\)
全連線層(fc)為: 線性層l+relu層
softmax層(s)為：\(softmax(x_) = \frac}}e^}}\)
卷積函式(conv)為：\(h = conv2d(x,w) + b\)
卷積層(conv)為：卷積函式+relu+池化
dropout手段(drop)為：每次訓練隨機去除。測試時完全保留。可防止過擬合。
資料增強: 不影響標籤的前提下，對原始資料作 平移，旋轉，翻轉，裁剪，縮放，顏色變化，雜訊等。可防止過擬合，提高泛化能力。
區域性響應歸一化層(lrn層)為(現有模型大多不再採用,可能是偽命題,只有alexnet使用):
神經網路模型
神經網路往往不需要人為的構造資料特徵，因為乙個神經元就可以看做是原始資料的不同特徵的組合，在神經元數目足夠大，層數足夠多的情況下，是很容易準確的進行分類的.神經網路是由具有適應性的簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界物體所做出的互動反應 神經元模型 m p神經元模...
神經網路語言模型
基於計數的n gram語言模型 出現的問題 1 資料稀疏，有些資料未出現過 2 忽略語義的相關性，如 無聊 與 枯燥 雖然語義相似，但無法共享資訊。詞語表示為 one hot表示法。基於分布式表示的n gram語言模型 出現的問題 1 詞向量 如何將每個詞對映到實數向量空間中的乙個點 2 f函式的設...
神經網路相關模型
logistic regression模型 y wtx b 記住使用的啟用函式 是sigmoid函式。損失函式 l y y y log y 1 y log 1 y 衡量 值y 與真實值y的差距，越小越好。代價函式 損失均值，j w,b 1 m mi 1l y i y i 是w和b的函式，學習的過程就...