深度學習是乙個正在快速發展的領域，總是出現很多新的時髦的概念，筆者在這裡對裡面經常出現的一些概念進行解釋，力求通俗易懂。如果能對各位讀者帶來幫助，我將深感欣慰！
梯度消失：神經網路相當於多層復合函式，因此在反向傳播演算法中計算梯度時需要按照求導的鏈式法則一層一層的連續相乘，如果連續出現梯度很小的情況會導致梯度越乘越小，接近於0，這就叫做梯度消失。（反向傳播演算法採用的是梯度下降演算法，因此梯度消失現象會導致遠離輸出層的網路難以訓練）
梯度**：與梯度消失相反，在梯度連乘的過程中，梯度連續出現很大的值，導致連乘之後的梯度非常大。同樣地，梯度**也會造成訓練的困難。
backbone：一般是指目標檢測網路框架中用於特徵提取的那部分cnn。
池化：對影象進行降取樣，常用的有最大值池化和平均值池化。
batch size：每次訓練送入的樣本數目。
epoch：將所有樣本訓練一遍為乙個epoch。
fc層：全連線層，即前一層的每乙個單元與本層的每乙個單元都相連。
查準率（precision)：檢測出來的所有目標中，正確目標所佔的比例。
ap：p-r曲線所包圍的面積。計算方法是：求一組11個等間距recall [0, 0.1, 0.2,…,1] 水平下的precision的平均值，不同recall對應不同置信度閾值，換句話說就是求11個不同置信度閾值下的precision的平均值，11個置信度要使得recall分別取到0、0.1、......01這幾個值。
map：平均精度均值，所有檢測類別的ap的平均值。
iou：交並比，即兩個矩形框的交集面積除以並集的面積。
nas：即neural architecture search，神經架構搜尋，通過某種優化搜尋方式自動尋找最合適的神經網路架構。
single shot detection：區別於兩階段的目標檢測，single shot 指的是得到特徵圖之後，直接通過乙個網路同時進行候選框的分類與回歸並輸出結果。
tpu：全稱張量處理單元，這是谷歌公司設計的專門用於處理神經網路工作的矩陣處理器，比gpu和cpu速度更高，能耗更低。
flops：每秒浮點運算次數，數值越高，電腦的運算速度越快。
top-5正確率/錯誤率：這是ilsvrc競賽對於演算法的乙個評價標準。假如演算法的目的是判斷80個類別，那麼輸入一張影象，演算法將輸出乙個80維的向量，分別是80個類別的**概率，按照概率大小，取前五個概率所對應的類別，如果其中包含了測試影象所屬的類別，則認為演算法**正確，否則認為**錯誤。
top-1正確率/錯誤率：同上，不同之處是只取輸出概率向量中數值最大的那個類別，如果其為測試影象的所屬類別，則認為演算法**正確，否則認為**錯誤。因此如果演算法的top-1正確率越高或錯誤率越低，說明演算法的效果越好。
自監督學習與無監督學習的區別：自監督學習模型初始沒有監督訊號，但在迭代過程中會自動產生監督訊號，而無監督學習則在整個學習過程中都沒有監督訊號，可以認為自監督學習屬於無監督學習的一種。
深度學習中的其他常見概念
批量，即batch，是深度學習中的乙個重要概念。批量通常指兩個不同的概念 如果對應的是模型訓練方法，那麼批量指的是將所有資料處理完以後一次性更新權重或者引數的估計 如果對應的是模型訓練中的資料，那麼批量通常指的是一次輸入供模型計算用的資料量。基於批量概念的模型訓練通常按照如下步驟進行 1 初始化引數...
深度學習概念
深度學習是基於機器學習延伸出來的乙個新的領域，由以人大腦結構為啟發的神經網路演算法為起源加之模型結構深度的增加發展，並伴隨大資料和計算能力的提高而產生的一系列新的演算法。深度學習什麼時間段發展起來的?其概念由著名科學家geoffrey hinton等人在2006年和2007年在 sciences 等...
深度學習（1）一些常見詞解釋
在看深度學習資料時一直提到回歸這個詞，最近在看rcnn時又提到邏輯回歸。1 回歸問題 回歸分析 法，最早是在分析市場現象自變數和因變數之間相關關係的基礎上，建立變數之間的回歸方程，並將回歸方程作為 模型，根據自變數在 期的數量變化來 因變數關係大多表現為相關關係。在深度學習中，我的理解就是根據資料擬...