神經網路學習筆記 01 基本概念

即使百萬級的神經單元，也只相當於乙隻蠕蟲的計算能力。

for the output layer

forward propagation - 正向傳播

在訓練過程中，通過輸入資料產生輸出資料。

back propagation - 反向傳播

在訓練過程中，根據計算結果和期望結果的偏差，重新調整各個神經元的權值。

這個方面有很多演算法可以選擇。

regularization - 正規化

一種避免多度訓練（overfitting）的方法。多度訓練會導致訓練結果對噪音資料過度敏感。

理論上來說，對當前的**函式，根據它的複雜度，計算乙個懲罰值。通過懲罰值來調整預則函式的權值。

gradient descent - 梯度下降

反向傳播中，用於調整權值的乙個概念，表示計算調整的方向和大小。

loss function - 損失函式

在分類問題中，一種計算方法，計算因不準確**而導致的代價。

人話就是：

初始化: 隨便產生個**函式（w b）。

正向傳播：先算一下。

反向傳播: 有偏差（廢話）。

正規化: 讓偏差變得好看點。

梯度下降：把**函式（w b）向偏差的方向挪一下。

重複訓練：把上面的過程來上500遍。

神經網路學習筆記 01 基本概念

即使百萬級的神經單元，也只相當於乙隻蠕蟲的計算能力。for the output layer forward propagation 正向傳播 在訓練過程中，通過輸入資料產生輸出資料。back propagation 反向傳播 在訓練過程中，根據計算結果和期望結果的偏差，重新調整各個神經元的權值。這...

神經網路基本概念

mcculloch 精神病學家和解剖學家 和pitts 數學家 在1943年，發表第乙個系統的ann研究 閾值加權和 m p 數學模型。bp back propagation 神經網路，是指誤差的後向傳播，修正權值矩陣，達到訓練模型。1 弱點 訓練速度非常慢 區域性極小點的逃離問題 演算法不一定收斂...

深度學習筆記之卷積神經網路基本概念

1.最簡單的神經網路示意圖 其分為輸入層 輸出層 隱藏層 對於這樣乙個最簡單的神經網路，只有乙個隱藏層 在圖中，連線代表此神經元是由上一層的結點，通過一定的運算得到的。也就是說我們定義好輸入層的值和其結點的運算方式，我們就可以得到下一層的結點所對應的值 2.感知器 感知器是第乙個具有完整演算法描述的...