誤差處理情況，第一種計算誤差的方式是將簡單的將網路計算結果與正確結果相減，但採用這種做法，如果我們把所有誤差相加在一起，結果居然為零，因為第乙個節點的結果與正確結果的差值和第二個節點結果與正確結果的差值剛好相反，於是誤差就相互抵消掉，由此直接將兩者相減不是一種理想的誤差計算方式。
第二種是相減後求絕對值。這樣一來每個節點間的誤差在加總時就不會相互抵消，但絕對值的存在使得函式影象會變成乙個」v」字型，在最低點處是乙個箭頭，於是這個函式在最低點處不連續，梯度下降法不能運用於不連續的函式。
第三者是兩者相減後求平方，這種做法使得誤差函式變成一條光滑的曲線，這是梯度下降法運用的最佳場景。在上一節中我們講過，我們要根據資料點所在的切線斜率來「適當」的調整變數的值，後面我們會看到，這裡的「適當」就得依賴切線的斜率大小，一條光滑曲線，也就是一條「連續」曲線，它在最低點附件切線的斜率會越來越小，這樣的話變數改變的幅度也會越來越小，進而使得我們能夠準確的定位到最低點。這裡的」連續「指的就是高等數學或微積分上的」連續「。
BP演算法調研
bp演算法，即反向傳播方法，是用來訓練前向網路的一種普遍演算法。課本 artifitial intelligence a new synthesis,nils j.nilsson 提供了演算法實現方式，每乙個輸入樣本，利用遞迴等式，根據期望值與實際輸出值的誤差，從後向前逐步調整權重，從而實現網路的訓...
BP演算法推導
反向傳播演算法是深度學習的基礎之一，其主要的核心就是對代價函式 e 關於權重 w 或偏置 b 的偏導數 的表示式。這個表示式代表在改變權值和偏置時，代價函式變化的快慢。使用 w l 表示從 l 1 層的 k 神經元到 l 層的 j 神經元上的權重。之所以 l 的序號在 l 1 層的序號之前，是因為後...
反向傳播演算法（BP演算法）
bp演算法 即反向傳播演算法 適合於多層神經元網路的一種學習演算法，它建立在梯度下降法的基礎上。bp網路的輸入輸出關係實質上是一種對映關係 乙個n輸入m輸出的bp神經網路所完成的功能是從n維歐氏空間向m維歐氏空間中一有限域的連續對映，這一對映具有高度非線性。它的資訊處理能力 於簡單非線性函式的多次復...