1、神經元模型
神經網路最廣泛的定義：神經網路是由具有適應性的簡單單元組成的廣泛並行互聯的網路，他的組織能夠模擬生物神經系統對真實世界物體所作出的互動反應。
神經網路中最基本的成分是神經元模型，即上述定義中的「簡單單元」。在生物神經網路中，神經元之間相連，當某乙個「興奮」時，就會向相連的神經元傳送化學物質，從而改變這些神經元內的電位，如果超過「閾值」，那麼就被啟用，即「興奮」起來，向其他神經元傳送化學物質。
上述情形可以抽象為下圖所示的簡單模型，「m-p神經元模型」
神經元接受到的總輸入值與神經元的閾值進行比較，然後通過「啟用函式」處理以產生神經元的輸出。
以下是理想中的階躍函式和常用的擠壓函式
2、感知機與多層網路
感知機由兩層神經元組成，輸入層接收外界輸入訊號後傳遞給輸出層，輸出層是m-p神經元，亦稱「閾值邏輯單元」
感知機能容易的實現邏輯與、或、非運算。
感知機的學習規則非常簡單，對訓練樣例(x,y)，若當前感知機的輸出為y』，則感知機權重調整：
η∈(0,1)成為學習率，通常為小正整數。
感知機只有輸出層神經元進行啟用函式處理，即只擁有一層功能神經元，學習能力有限，只能解決與、或、非等線性可分的問題，像異或這樣簡單的非線性可分問題也不能解決。
要解決非線性可分問題，需要考慮使用多層功能神經元。
兩層感知機（單隱層網路），輸出層與輸入層之間的一層神經元被稱為隱層或隱含層，隱含層和輸出層神經元都是擁有啟用函式的功能神經元。
常見的神經網路（下圖）層級結構。每層神經元與下一層神經元全互通，神經元之間不存在同層連線，也不存在跨層連線。這樣的神經網路結構通常稱為「多層前反饋神經網路」。
輸入層接收外界輸入，隱層與輸出層對訊號進行加工，最終結果由輸出層神經元輸出。
神經網路的學習過程就是根據訓練資料來調整神經元之間的「連線權」以及每個功能神經元的閾值。
3、誤差逆傳播演算法
bp演算法不僅可用於多層前饋神經網路，還可用於其他型別的神經網路，例如訓練遞迴神經網路，但通常所說的bp網路，一般是指用bp演算法訓練的多層前饋神經網路。
bp演算法基於梯度下降策略，以目標的負梯度方向對引數進行調整。
學習率 η
∈(0,1)控制著演算法每一輪迭代中的更新步長，若太大則容易振盪，太小則收斂速度過慢，（還容易陷入區域性最優）
全域性最小與區域性極小
求導易陷入區域性最優解
現實任務中，常採用以下策略來試圖「跳出」區域性極小
1、以多組不同引數值初始化多個神經網路，按標準方法訓練後，取其中誤差最小的解作為最終引數。
2、使用「模擬退火」技術，在每一步以一定的概率接受乙個次優解，隨著時間的推移接受次優解的概率逐漸降低，從而保證演算法穩定。
3、使用隨機梯度下降，與標準梯度下降法精確計算梯度不同，隨機梯度下降法在計算梯度時加入了隨機因素。
此外，遺傳演算法也常用來訓練神經網路以更好地逼近全域性最小。
神經網路學習之 Hopfield神經網路
1982年，美國加州理工學院的優秀物理學家hopfield提出了hopfield神經網路。hopfield神經網路引用了物理力學的分析方法，把網路作為一種動態系統並研究這種網路動態系統的穩定性。dhnn 離散型hopfield神經網路 這是一種單層全反饋網路，共有n個神經元。其特點是任一神經元的輸出...
神經網路學習
深度學習入門部落格 cnn 卷積神經網路 rnn 迴圈神經網路 dnn 深度神經網路 概念區分理解 deep learning 的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分布式特徵表示。深度學習是...
神經網路學習
一張由神經元 函式 堆砌起來的網路，將資料輸入經過神經網路後會自動得出 結果。目前熱門的機器學習指的是神經網路學習中一種機器學習 監督學習 supervised learning 監督學習的神經網路有四種 而監督學習涉及的資料有兩種 顯然，非結構化資料更加負責處理起來更加困難，而非結構化資料處理取得...