深度學習發展歷程

一、神經元

2023年，心理學家mcculloch和數學家pitts參考了生物神經元的結構，發表了抽象的神經元模型mp。

1、結構

神經元模型是乙個包含輸入，輸出與計算功能的模型。輸入可以模擬為神經元的樹突，而輸出可以模擬為神經元的軸突，計算則可以模擬為細胞核。

下圖是乙個典型的神經元模型：包含有3個輸入，1個輸出，以及2個計算功能。

注意中間的箭頭線。這些線稱為「連線」。每個上有乙個「權值」。

連線是神經元中最重要的東西。每乙個連線上都有乙個權重。

乙個神經網路的訓練演算法就是讓權重的值調整到最佳，以使得整個網路的**效果最好。

我們使用a來表示輸入，用w來表示權值。乙個表示連線的有向箭頭可以這樣理解：在初端，傳遞的訊號大小仍然是a，端中間有加權引數w，經過這個加權後的訊號會變成aw，因此在連線的末端，訊號的大小就變成了aw。

可見z是在輸入和權值的線性加權和疊加了乙個函式g的值。在mp模型裡，函式g是sgn函式，也就是取符號函式。這個函式當輸入大於0時，輸出1，否則輸出0。

下面對神經元模型的圖進行一些擴充套件。首先將sum函式與sgn函式合併到乙個圓圈裡，代表神經元的內部計算。其次，把輸入a與輸出z寫到連線線的左上方，便於後面畫複雜的網路。最後說明，乙個神經元可以引出多個代表輸出的有向箭頭，但值都是一樣的。

神經元可以看作乙個計算與儲存單元。計算是神經元對其的輸入進行計算功能。儲存是神經元會暫存計算結果，並傳遞到下一層。

當我們用「神經元」組成網路以後，描述網路中的某個「神經元」時，我們更多地會用「單元」（unit）來指代。同時由於神經網路的表現形式是乙個有向圖，有時也會用「節點」（node）來表達同樣的意思。

二、感知機（單層神經網路）

1、印字

2023年，計算科學家rosenblatt提出了由兩層神經元組成的神經網路。他給它起了乙個名字–「感知器」（perceptron）（有的文獻翻譯成「感知機」，下文統一用「感知器」來指代）。

感知器是當時首個可以學習的人工神經網路。rosenblatt現場演示了其學習識別簡單影象的過程，在當時的社會引起了轟動。

人們認為已經發現了智慧型的奧秘，許多學者和科研機構紛紛投入到神經網路的研究中。美**方大力資助了神經網路的研究，並認為神經網路比「原子彈工程」更重要。這段時間直到2023年才結束，這個時期可以看作神經網路的第一次高潮。

2、結構

下面來說明感知器模型。

在原來mp模型的「輸入」位置新增神經元節點，標誌其為「輸入單元」。其餘不變，於是我們就有了下圖：從本圖開始，我們將權值w1, w2, w3寫到「連線線」的中間。

在「感知器」中，有兩個層次。分別是輸入層和輸出層。輸入層裡的「輸入單元」只負責傳輸資料，不做計算。輸出層裡的「輸出單元」則需要對前面一層的輸入進行計算。

我們把需要計算的層次稱之為「計算層」，並把擁有乙個計算層的網路稱之為「單層神經網路」。有一些文獻會按照網路擁有的層數來命名，例如把「感知器」稱為兩層神經網路。但在本文裡，我們根據計算層的數量來命名。

假如我們要**的目標不再是乙個值，而是乙個向量，例如[2,3]。那麼可以在輸出層再增加乙個「輸出單元」。

如果我們仔細看輸出的計算公式，會發現這兩個公式就是線性代數方程組。因此可以用矩陣乘法來表達這兩個公式。

例如，輸入的變數是[a1，a2，a3]t（代表由a1，a2，a3組成的列向量），用向量a來表示。方程的左邊是[z1，z2]t，用向量z來表示。

係數則是矩陣w（2行3列的矩陣，排列形式與公式中的一樣）。

於是，輸出公式可以改寫成：

g(w * a) = z;

這個公式就是神經網路中從前一層計算後一層的矩陣運算。

3、效果

三、深度學習（多層神經網路）

四、softmax分類

五、梯度下降

卷積層