1、為什麼資料進行零中心化處理？
以sigmoid啟用函式為例。sigmoid函式的輸出不是零中心的。這個性質並不是我們想要的，因為在神經網路後面層中的神經元得到的資料將不是零中心的。這一情況將影響梯度下降的運作，因為如果輸入神經元的資料總是正數（比如在f=w^tx+b中每個元素都x>0），那麼關於w的梯度在反向傳播的過程中，將會要麼全部是正數，要麼全部是負數（具體依整個表示式f而定），這是因為w的梯度是x，如果x為正則w的梯度為正。這將會導致梯度下降權重更新時出現z字型的下降。然而，可以看到整個批量的資料的梯度被加起來後，對於權重的最終更新將會有不同的正負，這樣就從一定程度上減輕了這個問題。因此，該問題相對於上面的神經元飽和問題來說只是個小麻煩，沒有那麼嚴重。
2、為什麼資料進行歸一化處理？
答：在一些實際問題中，我們得到的樣本資料都是多個維度的，即乙個樣本是用多個特徵來表徵的。比如在**房價的問題中，影響房價 y 的因素有房子面積x1、臥室x2數量等，我們得到的樣本資料就是這樣一些樣本點，這裡的(x1,x2)又被稱為特徵。很顯然，這些特徵的量綱和數值得量級都是不一樣的，在**房價時，如果直接使用原始的資料值，那麼他們對房價的影響程度將是不一樣的，而通過標準化處理，可以使得不同的特徵具有相同的尺度（scale）。這樣，在使用梯度下降法學習引數的時候，不同特徵對引數的影響程度就一樣了。
簡言之，當原始資料不同維度上的特徵的尺度（單位）不一致時，需要標準化步驟對資料進行預處理。
其實，在不同的問題中，中心化和標準化有著不同的意義:
比如在訓練神經網路的過程中，通過將資料標準化，能夠加速權重引數的收斂。
另外，對於主成分分析（pca）問題，也需要對資料進行中心化和標準化等預處理步驟。
1、softmax與交叉熵的理解？
機器學習深度學習
機器學習與深度學習，人工智慧 這些領域，如果機器需要向人學習，那麼，人是如何學習的，或者人思維是如何運作的。構 的乙個思維生態 閉環 目前機器學習人工智慧的取得較大發展是依託統計概率論。如果機器需要有自己的ai，那麼是否意味著人在創造生命。因為，生命可以不斷的延續。那麼什麼是生命，生命由那些構成，構...
機器學習 深度學習
深度學習歷程 深度學習是一種機器學習方法，給定一組輸入 值輸入或者傳出計算機資訊 它允許我們訓練人工智慧來 輸出。吳恩達 與深度學習類似的是，火箭發動機是深度學習模型，燃料是我們可以提供給這些演算法的海量資料。神經網路是一組粗略模仿人類大腦，用於模式識別的演算法。1981 年 諾貝爾獎，人的視覺系統...
機器學習 深度學習概念
機器學習 machine learning 是一門專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能的學科。深度學習 deep learning 是機器學習研究中的乙個新的領域，其動機在於建立 模擬人腦進行分析學習的神經網路，它模仿人腦的機...