1. 損失函式：均方誤差是回歸任務中最常用的效能度量，因此我們可試圖讓均方誤差最小化。
2. 啟用函式：啟用函式又稱非線性對映，顧名思義，啟用函式的引入是為了增加整個網路的表達能力（即非線性）。若干線性操作層的堆疊仍然只能起到線性對映的作用，無法形成複雜的函式。
3. 卷積運算：卷積是一種有效的特徵提取方法。卷積是一種區域性操作，通過一定大小的卷積核作用於區域性影象區域獲得影象的區域性資訊。我們現在使用三種邊緣卷積核(亦稱濾波器)，整體邊緣濾波器、橫向邊緣濾波器和縱向邊緣濾波器。
4. 池化：池化（pooling）是卷積神經網路中另乙個重要的概念，它實際上是一種形式的降取樣。有多種不同形式的非線性池化函式，而其中「最大池化（max pooling）」是最為常見的。它是將輸入的影象劃分為若干個矩形區域，對每個子區域輸出最大值。直覺上，這種機制能夠有效地原因在於，在發現乙個特徵之後，它的精確位置遠不及它和其他特徵的相對位置的關係重要。池化層會不斷地減小資料的空間大小，因此引數的數量和計算量也會下降，這在一定程度上也控制了過擬合。通常來說，cnn的卷積層之間都會周期性地插入池化層。研究者普遍認為池化層有如下三個功效：1.特徵不變形：池化操作是模型更加關注是否存在某些特徵而不是特徵具體的位置。2.特徵降維：池化相當於在空間範圍內做了維度約減，從而使模型可以抽取更加廣範圍的特徵。同時減小了下一層的輸入大小，進而減少計算量和引數個數。3.在一定程度上防止過擬合，更方便優化。
5.全連線層：全連線層在整個網路卷積神經網路中起到「分類器」的作用。如果說卷積層、池化層和啟用函式等操作是將原始資料對映到隱層特徵空間的話，全連線層則起到將學到的特徵表示對映到樣本的標記空間的作用。
6.lstm：處理時域模型
神經網路 mask的作用
對句子填補之後,就要輸入到embedding層中,將token由id轉換成對應的vector.我們希望被填補的0值在後續的計算中不產生影響,就可以在初始化embedding層時指定引數mask zero為true,意思就是遮蔽0值,即填補的0值。在embedding層中的compute mask方法...
神經網路各個部分的作用 徹底理解神經網路
這些題目來自知識星球 cv技術指南 免費版 的日常作業 專注於計算機視覺的技術總結 最新技術跟蹤 經典 解讀 cv招聘資訊。我們說的網路越深，模型效果越好，指的是可訓練引數越多，模型的特徵提取能力或表示能力更好。因此，神經網路的層數只與可訓練引數的層數有關，層數等於卷積層 全連線層數量。bn層 池化...
神經網路驗證集的作用 卷積神經網路的程式設計
每乙個epoch所有的樣本都訓練一次。最大的迴圈，迴圈訓練集所有樣本數量 訓練集每次選取batch大小的樣本數量進行訓練後更新權值。訓練集中選出batch大小樣本數量 每乙個迭代次數更新一次權值。訓練集 前向傳播求得損失函式 反向傳播利用損失函式更新神經網路引數的權值。驗證集和測試集只需要進行前向傳...