殘差結構中存在跨層連線，使得不同層級的feature map可以融合到一起。在這種情況下，其訓練誤差應該不高於原來的淺層網路，而且跨層連線沒有引入額外的引數和計算複雜度。
由於直接讓一些疊加層去擬合乙個潛在的恒等對映函式h(x) = x會比較困難，所以採用一些非線性層，讓它們去擬合另一種殘差對映f (x) := h(x)-x，而原來的對映則變成h(x) = f(x) + x。resnet學習的是殘差函式f(x) = h(x) - x，優化這種殘差對映要比優化原始的對映容易
resnet的網路結構如下圖所示：
卷積網路演化史（一）
alexnet的網路結構如下圖所示 alexnet網路相比於之前的網路，有四方面的優點 relu函式的影象如下圖所示 由影象可看出，該函式在左側具有硬飽和性，即當輸入落入左側時，導數為0 由於sigmoid函式在兩側均具有軟飽和性，當輸入位於兩側的飽和區域時，會使得導數十分小，從而使得傳遞的梯度變小...
軟體架構演化史
1 機器語言 難讀，難寫。2 組合語言 不能誇cpu，多環境需要多個編寫版本。3 高階語言 好處解決跨平台。4 兩次軟體危機 軟體規模和複雜度增加，導致軟體質量下降，把控難度高。解決這一問題，提出了軟體工程，結構化程式設計，思想本質是面向過程設計思想。但通過 自頂向下 逐步細化 模組化 的方法，將軟...
卷積神經網路 四
relu的全稱是rectified layer units，它是一層使用非飽和啟用函式的神經元。神經網路通常使用sigmoid 和 tanh 作為非線性啟用函式，它確實比早期的線性啟用函式有好的多的效果。但在深度神經網路中，如果不使用pre traning，會導致gradient vanishing...