西瓜書讀書筆記（五）神經網路

全部筆記的彙總貼：《機器學習》西瓜書-讀書筆記彙總貼

神經網路是由具有適應性的簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界物體所作出的互動反應。神經網路中最基本的成分是神經元（neuron）模型，許多的神經元按一定的層次結構連線起來，就得到了神經網路。

感知機（perceptron）由兩層神經元組成。只有輸出層神經元進行啟用函式處理，即只擁有一層功能神經元（functional neuron），其學習能力非常有限。

要解決非線性可分問題，需考慮使用多層功能神經元，這樣的網路被稱為多層前饋神經網路。

多層網路的學習能力比單層感知機強得多．欲訓練多層網路，簡單感知機學習規則顯然不夠了，需要更強大的學習演算法．誤差逆傳播（簡稱 bp）演算法就是其中最傑出的代表，它是運今最成功的神經網路學習演算法。

正是由於其強大的表示能力，bp神經網路經常遭遇過擬合，其訓練誤差持續降低，但測試誤差卻可能上公升。

早停：將資料分成訓練集和驗證集，訓練集用來計算梯度、更新連線權和閾值，驗證集用來估計誤差，若訓練集誤差降低但驗證集誤差公升高，則停止訓練，同時返回具有最小驗證集誤差的連線權和閾值。

正則化：在誤差目標函式中增加乙個用於描述網路複雜度的部分。

全域性最小一定是區域性最小。

我們需要試圖跳出區域性最小以進一步接近全域性最小。

從多個不同的初始點進行搜尋；

模擬退火：每一步以一定的概率接受比當前更差的結果；

隨機梯度下降

遺傳演算法

是一種單隱層前饋神經網路，它使用徑向基函式作為隱層神經元啟用函數，而輸出層則是對隱居神經元輸出的線性組合。

art網路是競爭型學習的重要代表。該網路由比較層、識別層、識別闊值和重置模組構成。其中，比較層負責接收輸入樣本，並將其傳遞給識別層神經元，識別層每個神經元對應乙個模式類，神經元數目可在訓練過程中動態增長以增加新的模式類。

競爭型學習（competitive learning）是神經網路中一種常用的無監督學習策略，在使用該策略時，網路的輸出神經元相互競爭，每一時刻僅有乙個競爭獲勝的神經元被啟用，其他神經元的狀態被抑制。

som網路一種競爭學習型的無監督神經網路，它能將高維輸入資料對映到低維空間（通常為二維的），同時保持輸入資料在高維空間的拓撲結構，即將高維空間中相似的樣本點對映到網路輸出層中的鄰近神經元。

級聯相關網路是結構自適應網路（將網路結構也當作學習的目標之一，並希望能在訓練過程中找到最符合資料特點的網路結構）的重要代表。

elman網路是最常用的遞迴神經網路（允許網路**現環形結構，從而同讓一些神經元的輸出反饋回來作為輸入訊號）之一。

典型的深度學習模型就是很深層的神經網路。

從增加模型複雜度的角度來看，增加隱層的數目顯然比增加隱層神經元的數目更有效，因為增加隱層數不僅增加了擁有啟用函式的神經元的數目，還增加了啟用函式巢狀的層數。

「預訓練＋微調」的做法可視為將大量引數分組，對每組先找到區域性看來比較好的設定，然後再基於這些區域性較優的結果聯合起來進行全域性尋優。

西瓜書讀書筆記（五） 神經網路