我認為大腦本質上就是一台計算機，而知覺和意識則像是電腦程式，也會隨著計算機的關閉（人的死亡）而停止。理論上，這些知覺和意識是可以重新創造於乙個神經網路中的，但是這太難了，因為這將需要乙個人所有的記憶。 ——史蒂芬·霍金
起源
出於對更高生產力的追求，人類從未停止發明新的工具以幫助其更快／更好的完成工作；從而可以每天什麼都不用做，躺在家裡的沙發上。這些工具有的可以提高人類的工作效率，有的則可以替代人類的工作。當下的人們似乎對於後者更感興趣，才萌生了試圖讓計算機像人類一樣擁有學習能力的想法，使計算機變得更像乙個生命體。（生命體具備的特徵：自我複製，不斷學習，自我管理，一定程度自我修復）和其他很多的發明一樣，神經網路的發明也同樣來自於大自然帶給人類的靈感。人類的學習／認知／或者決策行為，實際上是群體行為，大腦其實為此亂做一團，而其中個體，則是神經元。神經元與神經元直接或者間接連線並保持溝通，神經元若是認為是時候的話，則會向相應的其他神經元傳送電流進行訊號傳輸，隨後可能如同鏈式反應一樣，最終反應到人類最表層的意識。
簡介
隨著計算機運算能力的逐步突破，人類不禁試圖將大腦這「天工之作」仿造在計算機之上，也就創造了當今的神經網路架構。受益於google alpha go和tesla自動駕駛**事故的**傳播，神經網路這兩年逐漸進入大眾視野，但是其思想實則起源於上世紀40年代，神經元計算模型初次面世。但是由於最初的神經元模型只能進行正向的傳播運算，並不具備從結果學習的能力，所以不能算作真正的智慧型。上世紀80年代末，反向傳播演算法面世，使得神經網路能夠根據樣本結果反向修正各神經元的計算行為，從而使得神經網路真正有了學習的能力。反向傳播也成了神經網路的核心思想，但是苦於當時並沒有足夠強大的計算機，該思想和模型並沒能夠廣泛應用於實際的場景中。而如今，在有了足夠強大的計算能力的情況下，神經網路的實現已經可以走入尋常百姓家，不僅驗證了三十年前神經網路思想的正確性，近年來也有很多新的網路架構被發明出來。其在諸多人工智慧課題中的表現甚是搶眼，甚至端了很多傳統機器學習演算法的飯碗，穩得一x。
稍微技術一點來說，神經網路可以被理解為乙個函式，與其他所有函式一樣，給定輸入引數，即可返回輸出結果。乙個複雜神經網路中可能包含成數以萬計的神經元，而每個神經元則被模擬為儲存單個數值的變數。神經元既可以用作輸入 x，也可以用作結果 y，神經元之間的資訊傳播被模擬成了輸入 x 與神經元之間相連的傳播權重 w 的運算過程。與生物神經元一樣，通常神經元不會直接把上一層傳遞來的資訊不加思索地傳給它的下一層神經元，而是經過一番判斷來決定是否進行訊號傳送以及傳送什麼樣的訊號，神經網路將此行為定義為神經元的啟用。以上圖右側為例，神經網路的輸入為（x1, x2, x3, x4）,則神經元 y 的輸入為：
y(in) = x1·w1 + x2·w2 + x3·w3 + x4·w4 + b= σ(xi·wi) + b
其中 b 為偏重值，神經元 y 的輸入則為：
y(out) = f(y(in))
其中 f 為啟用函式。
以上描述的就是乙個擁有5個神經元的神經網路（感知器）的一次正向傳播。然而這個神經網路所計算出來的輸出結果可能並非所願，因為我們並不知道權重 w 和偏重 b 的值，目前的這些權重都只是猜測而已。為了使這個神經網路正常工作，我們則需要用大量的輸入以及相對應的已知輸出結果來不斷修正這些值，直到神經網路能夠有比較好的表現。這個過程即為反向傳播，修正過後的權重和偏重則是神經網路模型中重要的一部分。
實際應用中，神經網路通常除了輸入層和輸出層之後，還會有1個或多個隱藏層，用於記錄計算中途的隱性特徵資訊，可以理解為潛意識，或者腦路。我們不一定需要知道潛意識裡到底發生了什麼，但是需要它。
成功用例
神經網路的應用可謂五花八門，凡是模稜兩可，乍看令人抓耳撓腮，卻實際有很多歷史資料的問題，都可以用神經網路嘗試一下。常見的成功用例有：
盜圖一張（調皮）：
怎麼樣，是不是迫不及待想要自己摸一摸
本文及之後
神奇的卷積神經網路 一
卷積神經網路是一種特殊的多層神經網路，它是deep learning中的乙個演算法，現在主要應用在影象處理領域中。既然說它是deep learning中的乙個演算法，那麼就需要有大量的資料來支援，作為乙個深度的神經網路，引數動輒百萬以上，如果樣本數過小很容易造成overfitting。卷積神經網路可...
神奇的卷積神經網路 二
上篇，我們介紹了卷積神經網路的兩大殺器 區域性感知野 和 權值共享。這篇我將會繼續介紹卷積神經網路的結構 多卷積核 和 池化。在說到權值共享的時候，我們說到乙個卷積核 濾波器 肯定是無法充分的提取影象中的特徵。那麼怎麼辦呢？乙個卷積核可以提取一種特徵，我們可以很自然的想到多個卷積核就可以提取多種特徵...
神奇的卷積神經網路 四
relu的全稱是rectified layer units，它是一層使用非飽和啟用函式的神經元。神經網路通常使用sigmoid 和 tanh 作為非線性啟用函式，它確實比早期的線性啟用函式有好的多的效果。但在深度神經網路中，如果不使用pre traning，會導致gradient vanishing...