#第二代神經網路之ann——
十分簡潔易懂的：
單層感知器（m-p神經元模型），解決lr邏輯回歸問題
多層感知器，單層感知器的基礎上加入了隱層，以解決非線性分類等問題
bp（誤差反向傳播）演算法
核心思路：神經元啟用函式
常見的有四種：階躍函式、sigmoid函式（常用）、雙曲正切函式（tanh函式）、relu啟用函式。
ann在生物合理性方面較差，並且計算量大，轉而實現第三代神經網路snn。
#第三代神經網路之snn——
1. 神經元模型：
其中 rm是膜上電阻。這一設定需要輸入電流超過閾值 ith= vth/r m 才能使神經 元發放，否則電壓上積累的變化會逐漸消失。
2. 突觸可塑性學習規則（調整神經元模型之間的權重）
bp演算法不再適用，因為資訊靠離散的脈衝傳播，不可導，必須研究新的突觸可塑性學習演算法。
以下都是無監督學習演算法。
- hebb learning rule：
hebb learning rule 描述了如何修改神經元模型之間的權重。當兩個神經元同時發放脈衝時，神經元之間的權重增加，當它們分開發放時，神經元之間的權重降低。
在stdp中，由神經元 j 延伸出的突觸的權重變化 ∆wj依賴於突觸前神經元和突觸後神經元的脈衝的發放時間差。
3. 存在的問題
既然理論上 snn 比第二代網路更強大，那麼我們很自然會想到為什麼它們沒有得到廣泛應用。主要問題在於：
（1） snn 的訓練。儘管我們有無監督生物學習方法，如赫布學習（hebbian learning）和 stdp，但沒有適合 snn 的有效監督訓練方法能夠 通過提供優於第二代網路的效能。由於脈衝訓練不可微，我們無法在不損失準確時間資訊的前提下使用梯度下降來訓練 snn。因此，為了正確地使用 snn 解決真實世界任務，我們需要開發一種高效的監督學習方法。
（2）正常硬體上模擬 snn 需要耗費大量算力。因為它需要模擬微分方程。但是，神經形態硬體，如 ibm truenorth，旨在使用利用神經元脈衝行為的離散和稀疏本質的專門硬體模擬神經元，進而解決該問題。
神經網路學習（一）
這一系列的文章，了解各大唱片 神經網路設計 這本書的收益和總結。第一部分介紹了三網融合 採用對稱硬極限傳輸函式hardlims的單層感知機 兩輸入感知機,w11 1,w22 1例如以下 hamming網路的目標時判定哪個標準向量最接近輸入向量。判定結果由遞迴層的輸出表示。r為樣本空間維數 s為神經元...
神經網路和深度學習（一） 初識神經網路
人類的視覺系統是世界上最棒的系統之一，比如下列一串手寫數字 大多數人都可以一眼看出它是504192。在我們大腦的每乙個半球，都有主要的視覺皮質v1 它包含了1.4億個神經元，在這些神經元之間有數百億的接觸。然而人類的視覺不僅僅包含了v1 而是一系列的視覺皮質v1 v2,v3,v 4,v5 逐步進行更...
神經網路和深度學習（一） 初識神經網路
人類的視覺系統是世界上最棒的系統之一，比如下列一串手寫數字 大多數人都可以一眼看出它是504192。在我們大腦的每乙個半球，都有主要的視覺皮質的輸入依賴於其輸出，這很難理解，所以我們不允許這樣的迴圈。然而，有些人造神經網路中存在反饋迴路是可能的。這樣的模型稱為遞迴神經網路。這些模型的思想是讓神經元在...