神經網路學習

一張由神經元(函式)堆砌起來的網路，將資料輸入經過神經網路後會自動得出**結果。

而監督學習涉及的資料有兩種：

顯然，非結構化資料更加負責處理起來更加困難，而非結構化資料處理取得巨大進展也是近幾年深度學習十分火熱的原因。良好的神經網路一般要求結構化和非結構化資料都能接收並計算之。

改善神經網路的因素有二：資料規模(data scale)和計算速度,從這個角度來看近年來深度學習取得巨大進展的原因有三：

因此可以反應線性函式的損失情況要求

在設定了損失函式之後，可以通過損失函式得到引數w和b的最佳取值使損失降到最低。觀察損失函式的影象，是乙個凸函式，存在全域性最小值(這裡也解釋了為什麼不使用誤差平方作為損失函式看，因為誤差平方損失函式的影象存在多個全域性最小值，不符合二分分類思想的要求)

向量化到這仍存在問題，一般訓練集都很大，for迴圈執行會特別耗時，因此需要去掉顯性的for迴圈。在處理迴圈上，深度學習一般會用向量化計算來代替顯性的for迴圈，向量化計算就是直接在特徵向量層面上進行計算，而使用的向量化計算都包含在python的內建函式庫中。

可見向量化計算相比較顯性for語句執行速度能提高近300倍。

反向傳播向量化示圖：

引入向量化計算後的偽**：

w[m] x[m] y[m] b[m]

j=infinite;
doj1=j;
j=0;
//計算本次迭代的損失函式值
z=np.dot(w*x)
+b				a=sigmoid(z)
j=-[np.dot(y*log(a)
)+np.dot((1
-y)*log(
1-a))]
//計算本次梯度下降的dw和db
dz=a-y
dw=1/m*np.dot(dz*x)
db=1/m*np.
sum(dz)
//計算本次梯度下降後的w和b
for i=
0 to m
w^i=w0-a*dw_i;
b=b0-a*db;
while j

多層神經元反向傳播結果：

注意：在反向傳播過程中應驗證各變數矩陣的維度，以盡可能的減少錯誤。

深層神經網路的隱藏層層數更多，計算更加複雜，但過程還是逃不過前向傳播、反向傳播以實現梯度下降演算法的原理。

神經網路學習之 Hopfield神經網路

1982年，美國加州理工學院的優秀物理學家hopfield提出了hopfield神經網路。hopfield神經網路引用了物理力學的分析方法，把網路作為一種動態系統並研究這種網路動態系統的穩定性。dhnn 離散型hopfield神經網路 這是一種單層全反饋網路，共有n個神經元。其特點是任一神經元的輸出...

神經網路學習

深度學習入門部落格 cnn 卷積神經網路 rnn 迴圈神經網路 dnn 深度神經網路 概念區分理解 deep learning 的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分布式特徵表示。深度學習是...

神經網路學習

1 神經元模型 神經網路最廣泛的定義 神經網路是由具有適應性的簡單單元組成的廣泛並行互聯的網路，他的組織能夠模擬生物神經系統對真實世界物體所作出的互動反應。神經網路中最基本的成分是神經元模型，即上述定義中的 簡單單元 在生物神經網路中，神經元之間相連，當某乙個 興奮 時，就會向相連的神經元傳送化學物...