神經元與多層網路
神經網路中最基本的成分是神經元模型，目前基本上用的都是「m-p神經元模型」。在這個模型中，神經元接收到來自n
nn個其它神經元傳遞過來的輸入訊號，這些輸入訊號通過帶權值的鏈結進行傳遞，神經元接收到的總輸入值將與神經元的閾值進行比較，然後通過「啟用函式」處理以產生神經元的輸出。
啟用函式可以是階躍函式，它將輸入值對映為輸出為「0」或「1」。但階躍函式具有不連續、不光滑等性質，因此常用sigmoid函式作為啟用函式。它可將輸入值擠壓到(0,1)輸出值範圍內。
把許多個這樣的神經元按一定的層次結構連線起來，就得到了神經網路
在前面有講過感知機，神經元可用感知機進行數學描述。感知機能實現邏輯與、或、非運算，但這些都是線性可分問題，對於非線性可分問題，則需要多層神經元。多層神經元則會包含隱含層，隱含層能對訊號進行加工。
誤差逆傳播演算法（bp）
bp演算法是基於梯度下降策略和鏈式法則，以目標的負梯度方向對引數進行調整。關於bp演算法的理解，可以參看b站上人工智慧中的視覺識別與機器學習（李飛飛）這門課的第8小節，課程裡會通過例子詳細介紹bp的來龍去脈。除此之外，該門課程還會介紹很多深度學習與影象方面的知識，有興趣的同學強烈推薦去學習學習。
bp演算法會包含以下操作：將輸入訊號逐層前傳，直到產生輸出層的結果；然後計算輸出層的誤差，再將誤差逆向傳播至隱含層神經元，最後根據隱含層神經元的誤差來對連線權和閾值進行調整。該迭代過程迴圈進行，直到達到某些停止條件。此即為「標準bp演算法」，每次僅針對乙個訓練樣例更新連線權和閾值。還有一種「累積bp演算法」，它在讀取整個訓練集d一遍後才對引數進行更新，其引數更新頻率低很多。標準bp演算法和累積bp演算法的區別類似於隨機梯度下降與標準梯度下降的區別。
—bp神經網路能以任意精度逼近任意複雜度的連續函式。正是由於其強大的表示能力，bp神經網路經常會過擬合，其訓練誤差不斷降低，測試誤差卻可能上公升。有兩種策略常用來緩解bp網路的過擬合：（1）早停：若訓練集誤差降低但測試集誤差上公升，則停止訓練，同時返回具有最小測試誤差的連線權和閾值；（2）正則化：在誤差目標函式中增加乙個用於描述網路複雜度的部分。
全域性最小和區域性最小
在現實任務中，可以採用以下策略來試圖「跳出」區域性極小，從而進一步接近全域性最小：
（1）以多組不同引數值初始化多個神經網路，按標準方法訓練後，取其中誤差最小的解；
（2）使用模擬退火技術：以一定概率接受比當前解更差的結果；
（3）相較於標準梯度下降，使用隨機梯度下降。
參考：周志華《機器學習》
深度學習 神經網路筆記
rnn 遞迴神經網路 一 神經網路的種類 基礎神經網路 單層感知機，執行緒神經網路，bp神經網路，hopfield神經網路等 高階神經網路 玻爾茲曼機，受限玻爾茲曼機，遞迴神經網路等 深度神經網路 深度置信網路，卷積神經網路，迴圈神經網路，lstm聖經網路等 一 感知機 svm 有n個輸入資料，通過...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
深度學習筆記1 BP神經網路
人工神經網路是模型生物神經網路進行資訊處理的一種數學模型，bp神經網路是人工神經網路的一種經典演算法bp 反向傳播 演算法的特徵利用輸出後的誤差來估計輸出層的直接前導誤差，再用這個誤差去估計更前一層的誤差，如此一層一層的反向傳播下去，就獲得了所有其他各層的誤差估計，所以bp神經網路分兩步 1.訊號的...