從神經網路說起：深度學習初學者不可不知的25個術語和概念（上）
1，神經元；2，權重；3，偏置:用來改變輸入的範圍。4，啟用函式f(x)：將輸入訊號翻譯成輸出訊號。最常用的啟用函式有sigmoid、relu 和softmax。5，神經網路：訓練神經網路，更新偏置值，目標是找到未知函式的乙個近似值。6，輸入層、輸出層、隱含層，7，多層神經網路mlp，每一層上的神經元都和下一層上的神經元連線在一起，全互連網路(fully connected networks)；8，正向傳播(forward propagation)。9，成本函式(損失函式)(cost function)：最小化成本函式，即為最優化輸出。學習過程就是圍繞著 如何最小化成本。10，梯度下降(gradient descent)：11，學習速率(learning rate)：學習率指每次迭代中 對成本函式的「最小化次數」。12，反向傳播(back propagation)：一次迭代後，根據產生的結果計算出整個網路的偏差，然後用偏差結合「成本函式的梯度」，對「權重因子進行調整」，使得下次迭代的過程中偏差變小。這樣乙個結合 成本函式的梯度 來調整 權重因子 的過程就叫做反向傳播。13，分批(batches)：當訓練乙個神經網路時，不應一次性傳送全部輸入訊號，而應把輸入訊號隨機分成幾個大小相同的資料塊傳送。將資料分批傳送，建立的模型會更具有一般性。14，週期(epochs)：乙個週期表示對 所有的資料批次 都進行了一次迭代，包括一次正向傳播和一次反向傳播。往往週期數越高，模型的準確性就越高，但是耗時就越長，同樣週期/紀元的次數過高，可能會出現「過擬合」的情況。。15，dropout方法，訓練過程中隱藏的某些特定神經元會被忽略掉(drop)。16，分批標準化(batch normalization)，為了保證下一層網路得到的資料擁有合適的分布。因此在每一次資料傳遞前都需要對資料進行一次正則化處理。17，過濾器/濾波器(filters)，將乙個權重矩陣乘以輸入影象的乙個部分，產生相應的卷積輸出。18，卷積神經網路cnn(convolutional neural network)，卷積的過程。19，池化(pooling)：最大化池16->4->1,取最大值。20，補白(padding)，指給影象的邊緣增加額外的空白，從而使得卷積後輸出的影象跟輸入影象在尺寸上一致，這也被稱作相同補白(same padding)，21資料增強(data augmentation)：從已有資料中創造出新的資料，通過增加訓練量以期望能夠提高**的準確率。通過「旋轉」「照亮」的操作，訓練資料的品質得到了提公升，這種過程被稱作資料增強 。22，遞迴神經元經由自己處理過的資料，會變成自身下一次的輸入，這個過程進行t次。
23，遞迴神經網路(rnn,recurrent neural network)，常被用於處理序列化的資料，即前一項的輸出 是用來**下一項的輸入。遞迴神經網路中存在環的結構，這些神經元上的環狀結構使得它們能夠儲存之前的資料一段時間，從而使得能夠**輸出。在rnn中隱含層的輸出會作為下一次的輸入，如此往復經歷t次，再將輸出的結果傳遞到下一層網路中。這樣，最終輸出的結果會更全面，而且之前訓練的資訊被保持的時間會更久。隱藏層將反向傳遞錯誤以更新權重。這被稱為backpropagation through time (bptt).
24，梯度消失問題，當啟用函式的梯度非常小時，在反向傳播過程中，權重因子會被多次乘以這些小的梯度。因此會越變越小，隨著遞迴的深入趨於「消失」，出現梯度消失問題。這一問題可通過採用relu等沒有小梯度的啟用函式來有效避免。
25，梯度**問題：啟用函式的梯度過大，在反向傳播過程中，部分節點的大梯度使得他們的權重變得非常大，從而削弱了其他節點對於結果的影響。這個問題可以通過截斷(即設定乙個梯度允許的最大值)的方式來有效避免。
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
神經網路簡介 多層神經網路
如上圖所示，該神經網路有三層。我們標記第一層 也就是輸入層 為a 1 第一層與第二層連線權重為w 1 然後第一層輸入與第一層權重的線性和為z 1 第一層神經元個數為n 1 並依次標記剩餘網路層。可以看出，存在 z l j i 1 n l a l i w l i,j a l w l j a l 1 f...