系列部落格是博主學習神經網路中相關的筆記和一些個人理解，僅為作者記錄筆記之用，不免有很多細節不對之處。
這一節，我們看看到底神經網路學習到了什麼。原本是要對卷積神經網路進行研究的，但是卷積神經網路的訓練太慢了，我們就以bp網路為例，簡單探尋一下吧。
那麼，我們如何去探尋乙個神經元學習到了什麼呢？我們可以這樣做：定義乙個神經元的啟用度，然後找到可以最大化啟用這個神經元的輸入
x x
，通過
x' role="presentation" style="position: relative;">x
x看看神經元學習了什麼。對於全連線的神經元可以定義如下的乙個目標函式x∗
=arg
maxalj
x ∗=
arg
maxajl
這個 x∗
x
∗就是我們要考察的物件。對於上面的這個目標函式，我們可以使用其他的代價函式代替，比如前面我們學校的交叉熵代價函式，它們的本質是一致的，通過不斷訓練使分類結果接近真實標籤。這樣我們就不需要對正向傳播和反向傳播進行做太大更改了。
由於使用常規的正向傳播演算法，我們只需要關心反向傳播即可。如何進行反向傳播誤差呢？有了前面的咱們推導的基礎，這個就非常簡單了–依舊是我們的核心運算：鏈式法則：∂c
∂al−
1=∂c
∂zl∂
zl∂a
l−1=
(wl)
tδl ∂c∂
al−1
=∂c∂
zl∂z
l∂al
−1=(
wl)t
δl通過這個遞推式，我們就可以遞推到第乙個輸入上。輸入的更新公式為x∗
=x∗−
ηδ1 x∗=
x∗−η
δ1好了，下面咱們看看可以最大化啟用輸出神經元的輸入吧
whoops…….完全沒有期待中的數字，上面這個圖說明，即使我們給網路輸入一堆電視雪花一樣的數值，我們也可以得到乙個分類結果。機器學習到的東西與我們的認識是非常不一樣的。加入一些稀疏性，即對代價函式新增乙個l!正則化項（x∗
=x∗−
ηλsgn(x∗
)−ηδ
1 x∗=
x∗−η
λsgn(x
∗)−η
δ1），情況大為好轉,隱隱約約可以看到數字的模樣。
神經網路學習之 Hopfield神經網路
1982年，美國加州理工學院的優秀物理學家hopfield提出了hopfield神經網路。hopfield神經網路引用了物理力學的分析方法，把網路作為一種動態系統並研究這種網路動態系統的穩定性。dhnn 離散型hopfield神經網路 這是一種單層全反饋網路，共有n個神經元。其特點是任一神經元的輸出...
神經網路學習
深度學習入門部落格 cnn 卷積神經網路 rnn 迴圈神經網路 dnn 深度神經網路 概念區分理解 deep learning 的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分布式特徵表示。深度學習是...
神經網路學習
1 神經元模型 神經網路最廣泛的定義 神經網路是由具有適應性的簡單單元組成的廣泛並行互聯的網路，他的組織能夠模擬生物神經系統對真實世界物體所作出的互動反應。神經網路中最基本的成分是神經元模型，即上述定義中的 簡單單元 在生物神經網路中，神經元之間相連，當某乙個 興奮 時，就會向相連的神經元傳送化學物...