綜合stanford university cs231n 課堂、及google 機器學習簡介課程，進行了小小的記錄~
正則化 regularization
有助於防止出現過擬合
分為：dropout 丟棄
通常，將正則化率設為0.5
一般是在全連線層使用。有時也用在卷積層，不過，不是隨機把某個神經元上啟用函式的結果置零，而是隨機把整個特徵對映置為零。在卷積神經網路裡，有乙個維度表示通道，可將某幾個通道整體置零，而不是某幾個元素。
dropout 能夠使模型的魯棒性更好
會使訓練的時間增長
通常，在training 訓練階段，給網路新增一些隨機性，以防止過擬合
而在testing 測試階段，不設定隨機，直接將輸出乘以dropout的概率p. 以提高泛化能力
dropout的比例 Dropout正則化原理
1 dropout 如何工作 典型的神經網路其訓練流程是將輸入通過網路進行正向傳導，然後將誤差進行反向傳播。dropout就是針對這一過程之中，隨機地刪除隱藏層的部分單元，進行上述過程。步驟如下 隨機刪除網路中的一些隱藏神經元，保持輸入輸出神經元不變將輸入通過修改後的網路進行前向傳播，然後將誤差通過...
dropout的正則化理解
dropout是hintion最近2年提出的，源於其文章improving neural newworks by preventing co adaptation of feature detectors.中文的意思 通過阻止特徵檢測器的共同作用來提高神經網路的效能 dropout效果同於baggi...
正則化 Dropout 與過擬合
正則化器允許在優化過程中對層的引數或層的啟用情況進行懲罰。網路優化的損失函式也包括這些懲罰項。懲罰是以層為物件進行的。具體的 api 因層而異，但dense，conv1d，conv2d和conv3d這些層具有統一的 api。正則化器開放 3 個關鍵字引數 from keras import regu...