在神經網路的計算中，通常先有乙個叫做前向暫停(forward pause)或叫做前向傳播(foward propagation)的步驟，接著有乙個叫做反向暫停(backward pause) 或叫做反向傳播(backward propagation)的步驟。本文使用邏輯回歸(logistic regression)來傳達這些想法。
邏輯回歸是乙個用於二分類(binary classification)的演算法。我們從乙個問題開始說起，將一張作為輸入，如果識別這張為貓，則輸出標籤 1 作為結果；如果識別出不是貓，那麼輸出標籤 0 作為結果。這就是乙個簡單的二分類的例子。
邏輯回歸的輸出函式：
為了讓模型通過學習調整引數，需要給予乙個?樣本的訓練集，然後根據訓練集找到引數?和引數?。
對訓練集的**值，我們將它寫成? ^，表示y為1的概率。
邏輯回歸的損失函式（loss function）：
邏輯回歸的代價函式：
損失函式只適用於像這樣的單個訓練樣本，而代價函式是引數的總代價，所以在訓練邏輯回歸模型時候，我們需要找到合適的?和?，來讓代價函式 ? 的總代價降到最低。
使用梯度下降法來求得代價函式（凸函式）的全域性最優解。
由於邏輯回歸的代價函式（成本函式）?(?,?)含有兩個引數的：
其中?表示步長。
乙個神經網路的計算，都是按照前向或反向傳播過程組織的。首先我們計算出乙個新的網路的輸出（前向過程），緊接著進行乙個反向傳輸操作。前者計算出網路的輸出，後者我們用來計算出對應的梯度或導數。
計算?和?變化對代價函式?的影響：
對於單樣本的梯度下降演算法：
更新?1 = ?1 − ???1， 更新?2 = ?2 − ???2， 更新? = ? − ???
深度學習 神經網路筆記
rnn 遞迴神經網路 一 神經網路的種類 基礎神經網路 單層感知機，執行緒神經網路，bp神經網路，hopfield神經網路等 高階神經網路 玻爾茲曼機，受限玻爾茲曼機，遞迴神經網路等 深度神經網路 深度置信網路，卷積神經網路，迴圈神經網路，lstm聖經網路等 一 感知機 svm 有n個輸入資料，通過...
學習 《神經網路與深度學習》 筆記2
2019年5月23日 晚上十點 s型神經元 現在我們試圖對於感知器網路中的權重和偏置進行乙個微小的改動，試圖只是引起輸出乙個微小的變化。例如對於手寫體輸出的識別，其中網路錯誤的將一幅 9 的影象識別成 8 的影象，我們嘗試著通過對於權重和偏置微小的調整矯正這個錯誤。但是當我們這個網路是感知器網路的時...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...