因為每個資料的輸入都伴隨著輸出，此輸出值將與標籤值比較產生loss，而loss經反向傳播演算法會指導各層權重值的修改。重點就在權重值的修改，1、計算機修改權重是試錯的過程，需要不斷嘗試，這很耗時間。2、每一層的權重值的修改，都會影響其他層的權重，進而影響最後的loss，因此計算量很大。
輸入節點（input nodes）：輸入節點從外部世界提供資訊，總稱為「輸入層」。在輸入節點中，不進行任何的計算——僅向隱藏節點傳遞資訊。
隱藏節點（hidden nodes）：隱藏節點和外部世界沒有直接聯絡（由此得名）。這些節點進行計算，並將資訊從輸入節點傳遞到輸出節點。隱藏節點總稱為「隱藏層」。儘管乙個前饋神經網路只有乙個輸入層和乙個輸出層，但網路裡可以沒有也可以有多個隱藏層。
輸出節點（output nodes）：輸出節點總稱為「輸出層」，負責計算，並從網路向外部世界傳遞資訊。
在前饋網路中，資訊只單向移動——從輸入層開始前向移動，然後通過隱藏層（如果有的話），再到輸出層。在網路中沒有迴圈或迴路 [3]（前饋神經網路的這個屬性和遞迴神經網路不同，後者的節點連線構成迴圈）。
cnn是前饋網路。
前饋網路和反向傳播演算法沒有什麼直接關係。前饋網路中也可以使用back propagation。back propagation不是網路結構，而是糾正網路中引數的一種工具。
乙個網路中各層可以不含偏置，因為可以使用值為1的節點乘上權重來代替偏置。
訓練神經網路失敗的原因（上）
根據原文講述 原因大致如下 神經網路中對資料進行歸一化是不可忽略的步驟，網路能不能正常工作，還得看你有沒有做歸一化。這個步驟是非常重要的，深度學習領域的人都很清楚，因此 中也很少有提及到。但是對於初學者來說，很容易在這裡栽跟頭，比如說我。一般來講，歸一化就是減去資料平均值除以標準差，通常是針對每個輸...
神經網路的訓練
既然我們希望網路的輸出盡可能的接近真正想要 的值。那麼就可以通過比較當前網路的 值和我們真正想要的目標值，再根據兩者的差異情況來更新每一層的權重矩陣 比如，如果網路的 值高了，就調整權重讓它 低一些，不斷調整，直到能夠 出目標值 因此就需要先定義 如何比較 值和目標值的差異 這便是損失函式或目標函式...
神經網路訓練loss不下降原因集合
train loss 不斷下降，test loss不斷下降，說明網路仍在學習 train loss 不斷下降，test loss趨於不變，說明網路過擬合 train loss 趨於不變，test loss不斷下降，說明資料集100 有問題 train loss 趨於不變，test loss趨於不變，...