感知器在20世紀
五、六十年代由科學技術frank rosenblatt發明，其受到warren mcculloch和walter pitts早期的工作的影響。今天，使用其他人工神經元模型更為普遍———在這本書中，以及更多現代的神經網路工作中，主要使用的是一種叫做s型神經元的神經元模型。
感知器是如何工作的呢？乙個感知器接受幾個二進位制輸入，並產生乙個二進位制輸出：
示例中的感知器由三個輸入，。通常可以由更多或更少的輸入。rosenblatt提議乙個簡單的規則來計算輸出。他引入權重，表示相應輸入對於輸出重要性的實數。神經元的輸出，0或者1，則由分配權重後的總和小於或者大於一些閾值決定。和權重一樣，閾值是乙個實數，乙個神經元的引數。用更精確的代數形式：
如果對權重（或者偏置）的微小的改動真的能夠僅僅引起輸出的微小的變化，那我們可以利用這一事實來修改權重和偏置，讓我們的網路能夠表現得像我們想要的那樣。問題在於當我們的網路包含感知器時這不會發生。實際上，網路中單個感知器上乙個權重或偏置的微小改動有時會引起那個感知器的輸出完全翻轉，如0變到1。那樣的翻轉可能接下來引起其餘網路的行為以機器複雜的方式完全改變。這使得逐步修改權重和偏置來讓網路接近期望行為變得困難。
我們可以引入一種稱為s型神經元的新的人工神經網路來克服這個問題。s型神經元和感知器類似，但是被修改為權重和偏置的微小改動只引起輸出的微小變化。這對讓神經元網路學習起來是關鍵的。
好了，讓我來描述下s型神經元。我們用描述感知器的相同方式來描述s型神經元：
正如乙個感知器，s型神經元有多個輸入，但是這些輸入可以取0和1中的任意值，而不僅僅是0或1。例如, 0.638……是乙個s型神經元的有效輸入。同樣，s型神經元對每個輸入有權重，和乙個總的偏置，b。但是輸出不是0或1.相反，它現在是, 這裡被稱為s型函式，定義為：
把它們放在一起來更清楚地說明，乙個具有輸入權重和偏置b的s型神經元的輸出是：
初看上去，s型神經元和感知器由很大的差別。實際上，感知器和s型神經元之間有很多相似的地方。s型神經元和感知器的對比圖如下：
感知器和s型神經元之間乙個很大的不同是s型神經元不僅僅輸出0或1。它可以輸出0和1之間的任何實數，所以諸如0.173…和0.689…的值是合理的輸出。
由於歷史的原因，儘管是由s型神經元而不是感知器構成，這種多層網路有時被稱為多層感知器或者mlp。
我們希望有乙個演算法，能讓我們找到權重和偏置，以至於網路的輸出y(x)能夠擬合所有的訓練輸入x。為了量化我們如何實現這個目標，我們定義乙個代價函式：
這裡w表示所有的網路中權重的集合，b是所有的偏置，n是訓練輸入資料的個數，a是表示當輸入為x時輸出的向量，求和則是在總的訓練輸入x上進行的。
從感知機到神經網路
在我的之前的部落格中已經講解了感知機，接下來談到的神經網路與感知機有許多共同之處，下面主要是講講神經網路與感知機的不同之處。首先來看看乙個神經網路的示例 上圖示，最左側是輸入層，中間的一列被稱為中間層，也被稱之為隱藏層，最右一列被稱為輸出層。則，神經網路在訊號傳遞的過程中與感知機有什麼聯絡呢？在之前...
從感知機到人工神經網路
如下圖所示 可用乙個決策邊界w x b將正負樣本進行區分。其中w為權重，b為偏置項。w x1 b 0被分為正樣本，否則為負樣本。假定要本線性可分，感知機的學習目標就是求的能將正負要本完全正確分開的分離超平面，即要尋找w,b，因此要確定乙個學習策略，即定義損失函式並使其最小化。而感知機所採用的損失函式...
1 從多層感知機到卷積神經網路
答案是必然的，但是dnn有不少缺點，為此引入cnn。一般情況下，影象資料比較大，意味著網路的輸入層維度也比較大。當然可以對其進行處理，即使這樣，假設處理完後影象變為2562563的彩色圖，即輸入的維度的值為196608。那麼後面的隱藏層的神經元個數自然也能太少，假設為1024。僅僅一層的鏈結就有高達...