幾個有用的鏈結，適合新手：
計算卷積後的特徵圖尺寸
損失函式
損失函式2
啟用函式
上取樣：
在做影象分割的時候，需要對影象進行畫素級別的分類，因此在卷積提取到抽象特徵後需要通過上取樣將feature map還原到原圖大小。常見的上取樣方法有雙線性插值、轉置卷積、上取樣（unsampling）和上池化（unpooling）。
feature map：
在每個卷積層，資料都是以三維形式存在的。你可以把它看成許多個二維疊在一起，其中每乙個稱為乙個feature map。在輸入層，如果是灰度，那就只有乙個feature map；如果是彩色，一般就是3個feature map（紅綠藍）。層與層之間會有若干個卷積核（kernel），上一層和每個feature map跟每個卷積核做卷積，都會產生下一層的乙個feature map。
池化層：
卷積網路經常使用池化層來縮減模型的大小（降維），提高計算速度，同時提高所提取特徵的魯棒性，防止過擬合的發生。常見方法：最大池化、平均池化。
最大池化示意圖：
歸一化、標準化和正則化
歸一化（normalization）
1.把資料變為（0，1）之間的小數。主要是為了方便資料處理，因為將資料對映到0～1範圍之內，可以使處理過程更加便捷、快速。
2.把有量綱表示式變換為無量綱表示式，成為純量。經過歸一化處理的資料，處於同一數量級，可以消除指標之間的量綱和量綱單位的影響，提高不同資料指標之間的可比性。
標準化將資料按比例縮放，使之落入乙個小的特定區間，是為了方便資料的下一步處理，而進行的資料縮放等變換，並不是為了方便與其他資料一同處理或比較，比如資料經過零-均值標準化後，更利於使用標準正態分佈的性質，進行處理。
正則化而是利用先驗知識，在處理過程中引入正則化因子(regulator)，用一組與原不適定問題相「鄰近」的適定問題的解，去逼近原問題的解，增加引導約束的作用，比如在邏輯回歸中使用正則化，可有效降低過擬合的現象。
跳躍連線（skip）的目的
非常深的神經網路是很難訓練的，因為存在梯度消失和梯度**問題。跳躍連線可以從某一層網路層獲取啟用，然後迅速反饋給另外一層，甚至是神經網路的更深層。正如殘差網路的設計初衷，跳躍連線可以解決網路層數較深的情況下梯度消失的問題，同時有助於梯度的反向傳播，加快訓練過程。
resnet50 及調成鏈結的目的
softmax函式
softmax是個非常常用而且比較重要的函式，尤其在多分類的場景中使用廣泛。他把一些輸入對映為0-1之間的實數，並且歸一化保證和為1，因此多分類的概率之和也剛好為1。
啟用函式
如果不用激勵函式（其實相當於激勵函式是f(x) = x），在這種情況下你每一層節點的輸入都是上層輸出的線性函式，很容易驗證，無論你神經網路有多少層，輸出都是輸入的線性組合，與沒有隱藏層效果相當，這種情況就是最原始的感知機（perceptron）了，那麼網路的逼近能力就相當有限。正因為上面的原因，我們決定引入非線性函式作為激勵函式，這樣深層神經網路表達能力就更加強大。
l1和平均絕對誤差meanabsolute error(mae)
mae表示了**值與目標值之間差值的絕對值然後求平均
l1表示了**值與目標值之間差值的絕對值，l1也叫做曼哈頓距離
均方誤差mean squareerror（mse）和l2範數:
l2損失表示了**值與目標值之間差值的平方和然後開更方，l2表示的是歐幾里得距離。
網路技術專業名詞
b mrtg b 求助編輯百科名片 multi router traffic grapher mrtg是乙個監控網路鏈路流量負載的工具軟體，通過snmp協議得到裝置的流量資訊，並將流量負載以包含png格式的圖形的html 文件方式顯示給使用者，以非常直觀的形式顯示流量負載。b snmp b 求助編輯...
網際網路專業名詞
開發環境 dev 開發環境是程式猿們專門用於開發的伺服器，配置可以比較隨意，為了開發除錯方便，一般開啟全部錯誤報告。測試環境 uat 一般是轉殖乙份生產環境的配置，乙個程式在測試環境工作不正常，那麼肯定不能把它發布到生產機上。生產環境 prod 是指正式提供對外服務的，一般會關掉錯誤報告，開啟錯誤日...
神經網路常用名詞
基礎神經網路 dnn basics of neural networks 卷積神經網路 cnn convolutional neural networks 迴圈神經網路 rnn recurrent neural networks 監督學習 supervised learning 無監督學習 unsu...