深度學習面試題14 Dropout 隨機失活

在訓練過程中，dropout會讓輸出中的每個值以概率keep_prob變為原來的1/keep_prob倍，以概率1-keep_prob變為0。也就是在每一輪的訓練中讓一些神經元隨機失活，從而讓每乙個神經元都有機會得到更高效的學習，會讓網路更加健壯，減小過擬合。

在**過程中，不再隨機失活，也不在擴大神經元的輸出。

卷積層的dropout

舉例：以乙個2*4的二維張量為例，引數keep_prob=0.5，其過程如下：

返回目錄

全連線層的dropout

dropout處理一般用在全連線神經網路的全連線層或者卷積網路後面的全連線層。

舉例：以全連線網路的某一層為例，引數keep_prob=0.5，每一輪訓練對隱藏層的輸出做dropout，其過程如下：

隱藏層的啟用函式為σ(x)=x

返回目錄

dropout的反向傳播

以乙個回歸案例為例

其中z2神經元會失活，通過如下圖的鏈式法則發現，此輪更新過程中，與失活神經元相連的邊上的權重都不會被訓練，因為他們的偏導數都=0.

返回目錄

dropout的反向傳播舉例

舉例：dropout

的概率p=0.5

，啟用函式為σ

(x)=x

，網路結構如下：

假設某樣本x的值是3，標籤是0.5，訓練乙個回歸模型，因為有dropout的存在，會出現不同的更新情況，下面演示使用樣本x反覆訓練網路，更新網路的過程：

第一輪（假設dropout(z)=2z）：

第二輪（假設dropout(z)=0）：

第三輪（假設dropout(z)=2z）：

dropconnect是在邊上直接置為0；而

dropout

是額外加了一層，按照概率ρ失活，不失活的擴大

1/ρ倍。

返回目錄

參考資料

《**深度學習與神經網路：從張量到tensorflow實現》_張平

返回目錄

深度學習面試題

1 介紹下卷積操作的作用 卷積網路中的卷積核引數是通過網路訓練出來的 通過卷積核的組合以及隨著網路後續操作的進行，卷積操作可獲取影象區域不同型別特徵 基本而一般的模式會逐漸被抽象為具有高層語義的 概念 表示，也就是自動學習到影象的高層特徵。2 cnn結構特點 區域性連線，權值共享，池化操作，多層次結...

深度學習面試題14 Dropout 隨機失活

在訓練過程中，dropout會讓輸出中的每個值以概率keep prob變為原來的1 keep prob倍，以概率1 keep prob變為0。也就是在每一輪的訓練中讓一些神經元隨機失活，從而讓每乙個神經元都有機會得到更高效的學習，會讓網路更加健壯，減小過擬合。在 過程中，不再隨機失活，也不在擴大神經...

深度學習筆試 面試題 三

1 宣告1 可以通過將所有權重初始化為0 來訓練網路。宣告2 可以通過將偏差初始化為0來很好地訓練網路 以上哪些陳述是真實的？a 1對2錯 b 1錯2對 c 1和2都對 d 1和2都錯 正確答案是 b 解析 即使所有的偏差都為零，神經網路也有可能學習。另一方面，如果所有的權重都是零 神經網路可能永遠...