alexnet的網路結構如下圖所示：
alexnet網路相比於之前的網路，有四方面的優點：
relu函式的影象如下圖所示：
由影象可看出，該函式在左側具有硬飽和性，即當輸入落入左側時，導數為0；由於sigmoid函式在兩側均具有軟飽和性，當輸入位於兩側的飽和區域時，會使得導數十分小，從而使得傳遞的梯度變小，從而使得神經網路難以訓練。而使用relu函式時，由於右側的導數恒為1，因此可以有效的緩解梯度消失現象。
dropout通過隨機「關閉」神經網路節點來減少參數量。經過dropout後，神經網路變得稀疏，削弱了神經網路的表達能力，從而緩解過擬合現象。由於神經網路節點是隨即關閉的，因此每次訓練生成的神經網路結構都會有些許不同。
alexnet網路在訓練時，不再只使用原圖，還使用增強過的資料進行訓練（比如隨機位移或者映象翻轉）。通過這種訓練，增強了網路的學習能力。
比如使用momentum（動量項）以及預先設定的學習率衰減來應對學習停滯的場景。
注意：alexnet只有一條工作流，圖上所示，只是因為alexnet是在兩個gpu上訓練的。
卷積網路演化史（四）
殘差結構中存在跨層連線，使得不同層級的feature map可以融合到一起。在這種情況下，其訓練誤差應該不高於原來的淺層網路，而且跨層連線沒有引入額外的引數和計算複雜度。由於直接讓一些疊加層去擬合乙個潛在的恒等對映函式h x x會比較困難，所以採用一些非線性層，讓它們去擬合另一種殘差對映f x h ...
軟體架構演化史
1 機器語言 難讀，難寫。2 組合語言 不能誇cpu，多環境需要多個編寫版本。3 高階語言 好處解決跨平台。4 兩次軟體危機 軟體規模和複雜度增加，導致軟體質量下降，把控難度高。解決這一問題，提出了軟體工程，結構化程式設計，思想本質是面向過程設計思想。但通過 自頂向下 逐步細化 模組化 的方法，將軟...
卷積神經網路 一
卷積神經網路是一種特殊的多層神經網路，它是deep learning中的乙個演算法，現在主要應用在影象處理領域中。既然說它是deep learning中的乙個演算法，那麼就需要有大量的資料來支援，作為乙個深度的神經網路，引數動輒百萬以上，如果樣本數過小很容易造成overfitting。卷積神經網路可...