什麼是神經網路？這得先從簡單的開始，接下來會介紹一種人工神經網路——perceptrons（視感控器）。早期的相關工作是warren mcculloch 和 walter pitts進行的，後來在1950s和1960s， 科學家frank rosenblatt對其進行了研究並且發揚光大。然而，現在應用得比較多的是sigmoid neuron，在後續會講解。在這裡，先講解perceptrons。
perceptrons是怎麼工作的呢？如下圖：
x1,x2,x3分別代表輸入（input），輸出（output）是二進位制的，0或者1。input的個數並沒有嚴格的限制，可以1個或多個，而output在乙個perceptron裡只有乙個。rosenblatt提出了乙個規則去計算output：設定權重w1,w2,….,等等，用實數代表每個input對於output的重要性，而output則由下式決定，其中threshold是臨界值的意思：
這就是perceptron的工作原理。
你非常喜歡吃乳酪，最近市區裡要舉行乳酪節，但是你不知道去還是不去。以下有幾點你需要考慮的條件：
通過對threshold和weight的設定，可以得到不同的決策模型。例如設定threshold為3。當天氣好的時候或者x2=1，x3=1成立的時候，這個perceptron會決定你去參加節日。換句話說，這是另一種決策模型，降低threshold意味著你更願意去參加節日。
人腦覺得沒有這麼簡單，不過perceptron向我們展示的是，通過衡量不同的方面，不同的事實，來做出決策的方案。下面是乙個更加複雜精妙的模型：
顯然，圖上的神經網路，可以分成兩個層次的perceptrons，第一層有3個perceptrons，第二層有4個。當然，也可以設定第三層，甚至四層等。通過這種方法，能夠表達更加複雜和抽象的決策。
細心的讀者可能會發現，上面的perceptrons有多個output，其實是代表乙個，只是這乙個output可能用於多個下一層的perceptrons
其中有如下定義：
這只是換了一種形式表達一開始給出的式子，累加用向量形式表示，用b代表threshold的相反數。可以認為b代表讓output達到1的容易程度。或者從生物學角度看，b衡量了啟用perceptron的容易程度。
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
神經網路簡介 多層神經網路
如上圖所示，該神經網路有三層。我們標記第一層 也就是輸入層 為a 1 第一層與第二層連線權重為w 1 然後第一層輸入與第一層權重的線性和為z 1 第一層神經元個數為n 1 並依次標記剩餘網路層。可以看出，存在 z l j i 1 n l a l i w l i,j a l w l j a l 1 f...