分享鏈結
史丹福大學公開課：
深度學習教程：
知乎專欄：**的機器學習
神經網路技術起源於上世紀
五、六十年代，當時叫感知機（perceptron），擁有輸入層、輸出層和乙個隱含層。輸入的特徵向量通過隱含層變換達到輸出層，在輸出層得到分類結果。早期感知機的推動者是rosenblatt。
但是，rosenblatt的單層感知機有乙個嚴重得不能再嚴重的問題，即它對稍複雜一些的函式都無能為力（比如最為典型的「異或」操作）。連異或都不能擬合，你還能指望有什麼實際用途。
隨著數學的發展，這個缺點直到上世紀八十年代才被rumelha等人發明的多層感知機（multilayer perceptron）克服。多層感知機，顧名思義，就是有多個隱含層的感知機。
多層感知機可以擺脫早期離散傳輸函式的束縛，使用sigmoid或tanh等連續函式模擬神經元對激勵的響應，在訓練演算法上則使用werbos發明的反向傳播bp演算法。這就是我們現在所說的神經網路nn。
多層感知機解決了之前無法模擬異或邏輯的缺陷，同時更多的層數也讓網路更能夠刻畫現實世界中的複雜情形。相信年輕如hinton當時一定是春風得意。
多層感知機給我們帶來的啟示是，神經網路的層數直接決定了它對現實的刻畫能力——利用每層更少的神經元擬合更加複雜的函式[1]。
即便大牛們早就預料到神經網路需要變得更深，但是有乙個夢魘總是縈繞左右。隨著神經網路層數的加深，優化函式越來越容易陷入區域性最優解，並且這個「陷阱」越來越偏離真正的全域性最優。利用有限資料訓練的深層網路，效能還不如較淺層網路。同時，另乙個不可忽略的問題是隨著網路層數增加，「梯度消失」現象更加嚴重。具體來說，我們常常使用sigmoid作為神經元的輸入輸出函式。對於幅度為1的訊號，在bp反向傳播梯度時，每傳遞一層，梯度衰減為原來的0.25。層數一多，梯度指數衰減後低層基本上接受不到有效的訓練訊號。
2023年，hinton利用預訓練方法緩解了區域性最優解問題，將隱含層推動到了7層[2]，神經網路真正意義上有了「深度」，由此揭開了深度學習的熱潮。這裡的「深度」並沒有固定的定義——在語音識別中4層網路就能夠被認為是「較深的」，而在影象識別中20層以上的網路屢見不鮮。為了克服梯度消失，relu、maxout等傳輸函式代替了sigmoid，形成了如今dnn的基本形式。單從結構上來說，全連線的dnn和圖1的多層感知機是沒有任何區別的。
值得一提的是，今年出現的高速公路網路（highwaynetwork）和深度殘差學習（deep residual learning）進一步避免了梯度消失，網路層數達到了前所未有的一百多層（深度殘差學習：152層）[3,4]！具體結構題主可自行搜尋了解。如果你之前在懷疑是不是有很多方法打上了「深度學習」的噱頭，這個結果真是深得讓人心服口服。
如圖1所示，我們看到全連線dnn的結構裡下層神經元和所有上層神經元都能夠形成連線，帶來的潛在問題是引數數量的膨脹。假設輸入的是一幅畫素為1k*1k的影象，隱含層有1m個節點，光這一層就有10^12個權重需要訓練，這不僅容易過擬合，而且極容易陷入區域性最優。另外，影象中有固有的區域性模式（比如輪廓、邊界，人的眼睛、鼻子、嘴等）可以利用，顯然應該將影象處理中的概念和神經網路技術相結合。此時我們可以祭出題主所說的卷積神經網路
cnn。對於
cnn來說，並不是所有上下層神經元都能直接相連，而是通過「卷積核」作為中介。同乙個卷積核在所有影象內是共享的，影象通過卷積操作後仍然保留原先的位置關係。
全連線的
dnn存在乙個問題——無法對時間序列上的變化進行建模。然而，樣本出現的時間順序對於自然語言處理、語音識別、手寫體識別等應用非常重要。對了適應這種需求，就出現了題主所說的另一種神經網路結構——迴圈神經網路
rnn。全連線的
dnn還存在著另乙個問題——無法對時間序列上的變化進行建模。然而，樣本出現的時間順序對於自然語言處理、語音識別、手寫體識別等應用非常重要。對了適應這種需求，另一種神經網路結構——迴圈神經網路
rnn。
神經網路概述
在這裡我們來討論一下神經網路。在我們這裡所要討論的神經網路，不是動物或者人的神經網路，而是為計算機量身定製的神經系統。計算機神經網路是一種模仿生物神經網路或者是動物的神經中樞，特別是大腦的結構或者功能，它是一種數學模型或者是計算機模型。神經網路有大量的人工神經元連線進行計算，大多情況下人工神經網路可...
BP神經網路概述
bp神經網路是一種多層前饋神經網路，該網路的主要特點是訊號的向前傳遞，誤差反向傳播。在前向傳遞中，輸入訊號從輸入層經隱含層逐層處理，直至輸出層。每一層的神經網路狀態只影響下一層的神經元的狀態。如果輸出層得不到想要的輸出，則轉入反向傳播，根據 誤差調整網路的權值和閥值，從而使bp神經網路 輸出不斷的逼...
Hopfield神經網路概述
hopfieid網路是j.j.hopfield在20世紀80年代提出來的。他指出，如果神經網路的突觸聯絡一是有效對稱的，那麼系統必將演化到個固定的有序狀態。於是他引入能量函式的概念，表明如果突觸聯絡是對稱的，則網路的動態演化過程將達到能量最小的穩定狀態。利用這一特一性，hopfield網路可完成些諸...