實際的卷積網路很少僅通過卷積層來構建。它們通常還有其他型別的層。最簡單的是全連線層。這是一種普通的卷積網路層，其中前一層的所有輸出被連線到下一層上的所有節點。通常，這些層位於網路末端。
您會在卷積網路中看到的另一種重要的層是池化層。池化層具有多種形式，但最常用的是最大池化，其中輸入矩陣被拆分為相同大小的分段，使用每個分段中的最大值來填充輸出矩陣的相應元素。
您可以將這次池化的結果解釋為，右下部很可能有一張人臉，左上部可能有一張人臉，右上部或左下部可能沒有人臉。
def max_pool(input, out, in_width, in_height, out_width, out_height, kernel_dim,
stride):
max = 0
for res_y in range(out_height):
for res_x in range(out_width):
for kernel_y in range(kernel_dim):
for kernel_x in range(kernel_dim):
in_y = (res_y * stride) + kernel_y
in_x = (res_x * stride) + kernel_x
if input[in_y][in_x] > max:
max = input[in_y][in_x]
out[res_y][res_x] = max
max = 0
return out
架構我將使用的架構如下所示：乙個卷積層，將 32x32x1 mnist 影象縮減為乙個 28x28x6 輸出乙個最大池化層，包含各個特徵的寬度和高度乙個卷積層，將維數減少為 10x10x16乙個最大池化層，再一次將寬度和高度減半乙個全連線層，將特徵數量從 400 減少到 120第二個全連線層最後的全連線層，輸出乙個大小為 10 的向量每個中間層都使用了乙個 relu 非線性特徵，每個卷積層都使用乙個步幅為 1 且採用了 valid 填充的 5x5 過濾器。與此同時，最大池化過濾器的維數為 2。
全連線層後面加bn層 卷積層和BN層融合
常規的神經網路連線結構如下 當網路訓練完成,在推導的時候為了加速運算,通常將卷積層和 batch norm 層融合,原理如下 begin y w cdot x b y gamma cdot left frac e x right beta gamma cdot left frac right bet...
全連線層和啟用層
1.全連線層 經過前面若干次卷積 激勵 池化後，終於來到了輸出層，模型會將學到的乙個高質量的特徵全連線層。其實在全連線層之前，如果神經元數目過大，學習能力強，有可能出現過擬合。因此，可以引入dropout操作，來隨機刪除神經網路中的部分神經元，來解決此問題。還可以進行區域性歸一化 資料增強等操作，來...
池化層全連線層理解
關於卷積層我們先來看什麼叫卷積操作 下圖較大網格表示一幅，有顏色填充的網格表示乙個卷積核，卷積核的大小為3 3。假設我們做步長為1的卷積操作，表示卷積核每次向右移動乙個畫素 當移動到邊界時回到最左端並向下移動乙個單位 卷積核每個單元內有權重，下圖的卷積核內有9個權重。在卷積核移動的過程中將上的畫素和...