1. 原理
在每個訓練批次的前向傳播中，以概率p保留部分神經元。目的是：簡化神經網路的複雜度，降低過擬合風險。
根據保留概率p計算乙個概率向量r（[1,0,1,0,0,1,1....]）, 然後保留部分節點。
2. 注意點
因為dropout一般只使用在訓練時，而測試時所有的神經元都會保留。為了使訓練和測試時對應，可以有以下兩種方法：
1）測試時：在每個神經元對應的權重w需乘以p，即
2）inverted dropout, 訓練時：將dropout後保留下來的神經元權重乘以1/p，稱作懲罰項。這樣訓練時權重擴大，測試時不需要再乘以p以縮小。
3. 常用值
dropout一般取0.5.
深度學習 dropout理解
深度神經網路的訓練是一件非常困難的事，涉及到很多因素，比如損失函式的非凸性導致的區域性最優值 計算過程中的數值穩定性 訓練過程中的過擬合等。其中，過擬合是很容易發生的現象，也是在訓練dnn中必須要解決的問題。過擬合我們先來講一下什麼是 過擬合 過擬合是指模型訓練到一定程度後，在訓練集上得到的測試誤差...
深度學習 理解dropout
dropout是指在深度學習網路的訓練過程中，對於神經網路單元，按照一定的概率將其暫時從網路中丟棄。注意是暫時，對於隨機梯度下降來說，由於是隨機丟棄，故而每乙個mini batch都在訓練不同的網路。dropout是cnn中防止過擬合提高效果的乙個大殺器。dropout如何工作 dropout以概率...
深度學習基礎 初見dropout
dropout是2012年深度學習視覺領域的開山之作 imagenet classification with deep convolutional 所提到的演算法，用於防止過擬合。基本思想 dropout是指在深度學習網路訓練的過程中，對於神經網路單元，按照一定的概率將其 暫時 從網路中丟棄，對於...