是一種應用類似於大腦神經突觸聯接的結構進行資訊處理的數學模型。
人腦大約由100億個神經元組成，而其中的每個神經元又與約100～10000個其他神經元相連線，如此構成乙個龐大而複雜的神經元網路。
我們在學習、思考和識別事物時，簡單來說就是乙個線路連線問題。我們能做的每一件事、能記住的事、都是很多神經細胞連線起來以後產生的結果，我們剛出生的時候，這種連線很少，其中很多都是本能，接下來我們會經歷人生的很多第一次，有的行為會不斷的重複，在這期間，我們的大腦會不斷的工作，神經元形成無數條鏈結。
這些鏈結是怎樣形成的呢？是在不斷與外界資訊互動的作用過程中，在大腦的內部形成的，大腦的學習過程包括資訊輸入、模式加工和動作輸出。
資訊輸入是指外界環境中的刺激作用於人的感覺器官之後，感受器將外部刺激轉化為神經衝動傳向大腦，並給大腦帶來資訊，供大腦進行加工。這裡可以模擬開始我們需要送給深度神經網路的資料，比如影象資訊，有可能還需要做一定的處理，resize 、去均值、歸一化、pca等。只不過我們的大腦能夠自動處理這些輸入的資訊。
模式加工是在資訊輸入的基礎上，我們的感覺進入大腦內部的不同處理中心，在處理中心對資訊進行分析和模式識別，然後編譯儲存到腦內相應的記憶區。不如第一次看到狗，大腦的視覺皮層至少有30個不同的區域會參與到這個過程中去，每一塊區域負責處理乙個影象的乙個方面，比如皮毛、尾巴、面部特徵和動作等，（這裡可以模擬卷積神經網路中的不同的卷積核提取不同的feature map ,每乙個feature map 觀測不同的影象資訊）這些綜合起來形成一副完整的影象儲存到到大腦的記憶中。
之後，我們在看到狗的時候這個神經網路就會被加強，每一塊處理區域之間的連線變得更穩定更高效，可能我們會看到很多種類的狗狗，每次接受的新的種類的資訊，我們都會重複該模式，（這裡有點類似我們選用一類物體的很多，它們的顏色、體型等不同，去訓練乙個神經網路，是我們的網路識別效果更好）我們的大腦就會儲存更多的資訊模式，在見到狗狗的時候能夠很快速準確的判斷是狗狗。
動作輸出是大腦根據上面學習到的模型，在處理新的輸入資訊的時候會產生一系列的訊號，送給其他的神經元比如運動神經元做出相應的動作。
神經網路的基本組成單位是神經元，即神經細胞。
神經元是大腦處理資訊的基本單元，它的結構下圖所示。它是以細胞體為主體，由許多向周圍延伸的不規則樹枝狀纖維構成的神經細胞，其形狀很像一棵枯樹的枝幹。它主要由細胞體、樹突、軸突和突觸(synapse，又稱神經鍵)組成。
神經元具有兩個最主要的特性，即興奮性和傳導性。神經元的興奮性是指當刺激強度未達到某一閾值（閾值的概念為人工神經元模仿提供了理論的依據，傳輸函式中大多數函式都是依據此原則輸入輸出的）神經衝動不會發生，而當刺激達到該該值的時候，神經衝動發生並能瞬時達到最大的強度，此後刺激強度即使繼續加強或減弱，已誘發衝動的強度也不會改變，通過了解神經元的構造可以推出傳輸函式的數學構成。
人們通過長期的研究，進一步探明了大腦皮層是由許多不同的功能區構成的。例如，有的區專門負責運動控制，有的區專門負責聽覺，有的區專門負責視覺等。在每個功能區中，又包含許多負責某一具體功能的神經元群。例如，在視覺神經區，存在著只對光線方向性產生反應的神經元。更進一步細分，某一層神經元僅對水平光線產生響應，而另一層神經元只對垂直光線產生反應。需要特別指出的是，大腦皮層的這種區域性結構，雖然是由人的遺傳特性所決定的，是先天性的，但各區域所具有的功能大部分是人在後天通過對環境的適應和學習而得來的。神經元的這種特性稱為自組織(self—organization)特性。所謂自組織，即神經元的學習過程，完全是一種自我學習的過程，不存在外部教師的示教。（對應著深度神經網路能夠自主的學習連線和權重引數）還應指出，神經元的這種自組織特性來自於神經網路結構的可塑性，即神經元之間相互連線的突觸隨著動作電位脈衝激勵方式與強度的變化，其傳遞電位的作用可增加或減弱，神經元之間的突觸連線是柔性的、可塑的。
還應指出，功能的分割槽定位並不是機械的一對一關係。許多功能，特別是高階思維功能，通常都可以分為若干子功能塊，這些子功能塊存在並行關係。對於乙個特定功能的神經加工往往是在大腦皮層的許多部位分布式進行的。正因為如此，某一部位的損傷才不至於導致整個功能的喪失。
通過對上面的總結，我們能更好的、更深入的了解神經網路構成，以及對如何構建人工神經網路的啟發。
深度學習入門系列 神經網路
機器學習 定義 機器學習 machine learning,ml 是一門多領域交叉學科，涉及概率論 統計學 逼近論 凸分析 演算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能。分類 根據訓練集是否標註，9可以把機...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...