神經網路是由具有適應性的簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界物體所作出的互動反應
神經網路中最基本的成分是神經元模型，即「簡單單元」，在生物神經網路中，每個神經元與其他神經元相連，當它「興奮」時，就會向相連的神經元傳送化學物質，從而改變這些神經元內的電位；如果某神經元的電位超過乙個「閾值」，那麼它就會被啟用，即「興奮」 起來，向其他神經元傳送化學物質。
訊號是前向傳播的，而誤差是反向傳播的。
標準bp演算法 與 累計bp演算法
在很多任務中，累計誤差下降到一定程度後，進一步下降會非常緩慢，這是標準bp演算法往往會獲得較好的解，尤其當訓練集非常大時效果更明顯。
緩解過擬合
主要策略
神經網路的訓練過程可看作乙個引數尋優過程：
在引數空間中，尋找一組最優引數使得誤差最小
特點
art：」競爭學習」的代表
som：最常用的聚類方法之一
構造性神經網路
將網路的結構也當做學習的目標之一，我往在訓練過程中找到適合資料的網路結構
elman網路：遞迴神經網路的代表
elman網路是最常用的遞迴神經網路之一
bolyzmann機：」基於能量的模型」的代表
典型的深度學習模型就是很深層的神經網路
機器學習第五章
今天看了 機器學習 的第五章神經網路部分。本章主要講述的是 1.神經元是神經網路模型的最基本的單元 2.m p神經元模型包括輸入層 隱層和輸出層。2.1輸入訊號進行加權式的連線 2.2輸入層僅接受輸入，不進行函式處理，隱層和輸出層包含神經功能元 3.比較經典的神經網路的演算法是bp演算法 標準bp演...
機器學習（第五章）
最普遍的定義是 神經網路是由具有適應性的簡單單元組成的廣泛並行互聯的網路，它的組織能夠模擬生物神經系統對真實世界物體做出的互動反應。神經網路的最基本成分是神經元模型。在生物網路中，神經元的活動是以0或1的狀態存在的，乙個神經元可以接受多個神經元的訊號輸入，當所有輸入超出閾值時，接受輸入的神經元就會發...
機器學習 第五章神經網路 學習筆記
神經網路是由具有適應性的簡單單元組成的廣泛並行互聯的網路，它的組織能夠模擬生物神經系統對真實世界物體所做出的的互動反應。乙個神經元會接收到來自其他n個神經元傳遞過來的輸入訊號，這些輸入訊號通過帶權重的連線進行傳遞，神經元接收到的總輸入值將與神經元的閾值進行比較，然後通過啟用函式處理以產生神經元的輸出...