2023年5月23日 晚上十點
s型神經元
現在我們試圖對於感知器網路中的權重和偏置進行乙個微小的改動，試圖只是引起輸出乙個微小的變化。例如對於手寫體輸出的識別，其中網路錯誤的將一幅「9」的影象識別成「8」的影象，我們嘗試著通過對於權重和偏置微小的調整矯正這個錯誤。但是當我們這個網路是感知器網路的時候，這種情況是做不到的，相反的，對於這樣乙個微小的改動有時候會引起感知器輸出的完全翻轉，0變1或者1變0，這樣的話，當前網路在其他影象上的行為就會以一種很難控制的方式被完全改變。這是我們引入一種被稱為s型神經元的新型網路單元組成網路。s型神經元同樣可以接受很多輸入，但是和感知器不同的是，感知器的輸出只能是0或者1，但是s型神經元的輸出可以是0到1之間的任意值，不限於0和1這兩個值。而神經元的輸出定義為
其中x = w * 輸入 + b，w為權重，b為偏置。如果有一組輸入x1，x2，x3…，一組權重w1，w2，w3…，則s型神經元的輸出為1/（1+exp（-∑wjxj - b））。設z=wx+b,當z是乙個很大的正數時，exp(-z)≈0，σ(z)≈1，s型神經元的輸出接近於1：相反的，當z是乙個很小的負數時，exp(-z)趨近於無窮，σ(z)≈0，這樣在這兩種極限情況下，s型神經元的行為類似於乙個感知器，但是在輸入取中間值的時候，就不同於感知器。
當神經元的啟用函式時sigmoid函式是，則是s型神經元，當神經元啟用函式是下圖的階躍函式時，神經元則變成了乙個感知器。
現在我們解釋一下s型神經元的輸出。之前說過s型神經元的輸出可以是0到1之間任意乙個數字，有時候例如0.87654或者0.23165這樣的數字是很有用的。感知器輸出為0到1，這樣更像是乙個非黑即白的判斷。但是事實生活中並不是那麼精確的就是能判斷是與否，而s型神經元則像是乙個對我們判斷的乙個概率值，進而我們可以約定達到一定的概率我們就相信這個判斷或者是我們以一定的概率相信這個網路做出的判斷。
神經網路的架構
假設我們建立乙個這樣的網路（上圖是我在一篇部落格上截圖得到），其中最左邊的被稱為輸入層，其中的神經元被稱作輸入神經元，最右邊為輸出層，其中包含的神經元是輸出神經元，而夾在中間的部分就是隱藏層。有些網路只有一層網路層，但是大多數網路都存在很多層的隱藏層進行計算。如果網路中都是以上一層的輸出作為下一層的輸入的網路被稱為前饋神經網路，網路中沒有迴路，資訊在向前單向傳播。
神經網路與深度學習筆記
1 代價函式 在當前小批量資料中的所有訓練樣本 2 改進神經網路的學習方法 更好的代價函式的選擇 交叉熵代價函式 四種 規範化 方法 l1和l2規範化，棄權和訓練資料的人為擴充套件，讓我們的網路在訓練集之外的資料上更好地泛化。3 在錯誤不是很好地定義時，學習過程會變得很緩慢。但在犯錯時也存在學習緩慢...
深度學習 神經網路筆記
rnn 遞迴神經網路 一 神經網路的種類 基礎神經網路 單層感知機，執行緒神經網路，bp神經網路，hopfield神經網路等 高階神經網路 玻爾茲曼機，受限玻爾茲曼機，遞迴神經網路等 深度神經網路 深度置信網路，卷積神經網路，迴圈神經網路，lstm聖經網路等 一 感知機 svm 有n個輸入資料，通過...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...