多層網路
誤差逆傳播
常見的神經網路
神經元有n個輸入和乙個輸出。
由公式：
我們可能看出，神經元的工作原理：輸入訊號xi乘上權值wi的和減去神經元的偏移θ ，再經過啟用函式。
啟用函式的作用：如果沒有啟用函式的話，網路輸出的就還是線性的，無法解決非線性的問題。如果想要解決非線性的問題就要使得系統變成非線性的，所以引入啟用函式。
以下是常見的啟用函式。
relu函式
sigmod函式
階躍函式
輸入層僅僅接受輸入，不進行函式處理
隱層和輸出層包含神經元功能
由單個神經元可推到出第一層神經元輸出為
第二層神經元輸出為：
注意第二層神經元的輸入為第一層神經元的輸出乘上權值wi
如果我們的啟用函式使用sigmod函式，當輸入經過第一層神經元後，就會變得很複雜。因為第二層的神經元的輸入是第一層神經元的輸出，所以輸出會更加複雜。當我們的神經網路的層數和每層的神經元的個數增加後，輸出會越來越複雜，從而逼近理想情況。
例如把y21展開：
神經網路中的引數主要有四個:神經網路層數、神經網路神經元個數、權值w、閾值θ。
權值w和閾值θ=在第一遍正向傳播的時候w、θ的值的選擇能夠擬合出完美的模型的可能性很低。所以這個時候我們需要調節w和θ。
我們使用均方誤差來評價模型擬合的效果。
誤差逆傳播也稱為反向傳播是基於梯度下降的。
流程：1.正向傳播一次
2.計算輸出層的誤差，並將誤差逆向傳播至隱層
3.根據隱層神經元誤差來對權值和閾值進行調整
這個流程一直迭代，迭代結束的要求：
1.均方誤差滿足要求
2.迭代次數達到預設次數（一般這種情況就是模型學習效率很低,梯度消失了，模型已經學不動了）
bp演算法的目標是最小化訓練集上的累計誤差。
適用於影象處理。cnn並不是所有上下層神經元都能直接相連，而是通過「卷積核」作為中介。
。dnn與nn主要的區別在於把sigmoid函式替換成了relu，maxout，克服了梯度消失的問題。
神經網路學習之 Hopfield神經網路
1982年，美國加州理工學院的優秀物理學家hopfield提出了hopfield神經網路。hopfield神經網路引用了物理力學的分析方法，把網路作為一種動態系統並研究這種網路動態系統的穩定性。dhnn 離散型hopfield神經網路 這是一種單層全反饋網路，共有n個神經元。其特點是任一神經元的輸出...
神經網路學習
深度學習入門部落格 cnn 卷積神經網路 rnn 迴圈神經網路 dnn 深度神經網路 概念區分理解 deep learning 的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分布式特徵表示。深度學習是...
神經網路學習
1 神經元模型 神經網路最廣泛的定義 神經網路是由具有適應性的簡單單元組成的廣泛並行互聯的網路，他的組織能夠模擬生物神經系統對真實世界物體所作出的互動反應。神經網路中最基本的成分是神經元模型，即上述定義中的 簡單單元 在生物神經網路中，神經元之間相連，當某乙個 興奮 時，就會向相連的神經元傳送化學物...