1、sigmoid函式不再適用的原因：1）在某些情況下梯度會消失，不利於反向傳播，例如，當輸如的值過大或過小時，根據函式的影象，返回的梯度都會是0，阻斷了梯度的反向傳播。2）不是以0為中心，梯度更新低效
拿sigmoid舉例，不是以零為中心，會造成其反向傳播的導數不是正就是負，假設w是乙個二維向量，其減少的方向只會是第一象限或第三象限，對於下面的情況就比較低效。
2、tanh函式：第二個問題可以避免，但第乙個避免不了
3、relu：又快又簡單，最接近神經元的工作過程，但仍有缺點，例如不以0為中心，負半軸容易出現梯度的消失
這樣可以消除梯度消失的影響。
)會避免前面許多缺點，但引數加倍
1、在影象處理中，我們一般會做零均值化，但一般不會做歸一化，這跟大多數的機器學習問題不同，不需要將所有的特徵都投影到相同的範圍內，在影象中，我們還是想針對影象本身進行操作。
1、sgd：當在某些方向梯度變化敏感，某些方向不敏感，梯度可能在敏感的方向做之字形運動，如下：
這在高維上可能會更加敏感；而且，sgd容易卡在鞍點。
由於這種形式不能同時計算梯度跟損失，故進行改寫為：
3、adagrad：每一步都累加梯度的平方，更新引數時再除以這個平方的開方
但隨著訓練的進行，步長會越來越小，因此出現了其改進：
adam演算法進一步綜合了二者的優點，一般也是現在預設的演算法
1、dropconnect：不是隨機將啟用函式置零，而是隨機將部分權值置零。
2、隨機最大池化：在池化過程中，隨機進行區域池化（不常用，也不太懂）
3、隨機深度：訓練時隨機丟掉部分層，測試時使用全部層（不常用）
（計算機視覺）計算機視覺基礎
opencv cximage cimg freeimage opencv中vc庫的版本與visual studio版本的對應關係 vc8 2005 vc9 2008 vc10 2010 vc11 2012 vc12 2013 vc14 2015 vc15 2017 visual studio中的輔助...
計算機視覺（三） HSV
hsv hue,saturation,value 是根據顏色的直觀特性由a.r.smith在1978年建立的一種顏色空間,也稱六角錐體模型 hexcone model 這個模型中顏色的引數分別是 色調 h 飽和度 s 明度 v 用角度度量，取值範圍為0 360 從紅色開始按逆時針方向計算，紅色為0 ...
計算機視覺
主講老師 曹洋 課程 視覺 基礎 底 層處理 影象處理 特徵提 取 中 層處理 影象分割 相機標 定 深度 估計 運 動估計 高層處 理 3d 重建 目 標識別 視 覺基 礎 底層 處理 圖 像處理 特徵提取 中層 處理 圖 像分割 相機標定 深度估 計 運動 估計 高層處理 3d重 建 目標 識別...