在我的之前的部落格中已經講解了感知機，接下來談到的神經網路與感知機有許多共同之處，下面主要是講講神經網路與感知機的不同之處。首先來看看乙個神經網路的示例：
上圖示，最左側是輸入層，中間的一列被稱為中間層，也被稱之為隱藏層，最右一列被稱為輸出層。
則，神經網路在訊號傳遞的過程中與感知機有什麼聯絡呢？在之前的感知機中提到，其網路結構如下圖所示：
公式表示為：
其中，b為偏置，用於控制神經元被啟用的容易程度；
現將上述公式改寫為：
上式中，輸入訊號的總和會被函式h(a)轉換，轉換後的值就是輸出 y。然後，所表示的函式h(a)，在輸入超過0時返回1，否則返回0。
剛才登場的h(a)函式會將輸入訊號的總和轉換為輸出訊號，這種函式一般稱為啟用函式（activation function）。如「啟用」一詞所示，啟用函式的作用在於決定如何來啟用輸入訊號的總和。下圖右側，表示神經元的○中明確顯示了啟用函式的計算過程，即
訊號的加權總和為節點
左圖是一般的神經元的圖，右圖是在神經元內部明確顯示啟用函式的計算過程的圖（a表示輸入訊號的總和，h()表示啟用函式，y表示輸出）
補充：一般而言，「樸素感知機」是指單層網路，指的是啟用函式使用了階躍函式的模型。「多層感知機」是指神經網路，即使用sigmoid函式（後述）等平滑的啟用函式的多層網路。
注：在下乙個部落格中，將繼續了解一下啟用函式（階躍函式、sigmoid函式、relu函式）
從感知機到神經網路
感知器在20世紀 五 六十年代由科學技術frank rosenblatt發明，其受到warren mcculloch和walter pitts早期的工作的影響。今天，使用其他人工神經元模型更為普遍 在這本書中，以及更多現代的神經網路工作中，主要使用的是一種叫做s型神經元的神經元模型。感知器是如何工作...
從感知機到人工神經網路
如下圖所示 可用乙個決策邊界w x b將正負樣本進行區分。其中w為權重，b為偏置項。w x1 b 0被分為正樣本，否則為負樣本。假定要本線性可分，感知機的學習目標就是求的能將正負要本完全正確分開的分離超平面，即要尋找w,b，因此要確定乙個學習策略，即定義損失函式並使其最小化。而感知機所採用的損失函式...
1 從多層感知機到卷積神經網路
答案是必然的，但是dnn有不少缺點，為此引入cnn。一般情況下，影象資料比較大，意味著網路的輸入層維度也比較大。當然可以對其進行處理，即使這樣，假設處理完後影象變為2562563的彩色圖，即輸入的維度的值為196608。那麼後面的隱藏層的神經元個數自然也能太少，假設為1024。僅僅一層的鏈結就有高達...