深度學習研究的乙個長期目標是精確表徵訓練和一般化（泛化）。
然而，神經網路通常複雜的損失情況（loss landscapes）使學習動力學的理論變得難以捉摸。（learning dynamics elusive 難以捉摸）
在這項工作中，我們表明，對於寬神經網路，學習動力學已大大簡化，並且在無限的寬度限制下，它們受線性模型控制，該線性模型從網路圍繞其初始引數的一階泰勒展開中獲得。
此外，通過映象寬貝葉斯神經網路和高斯過程之間的對應關係，對具有平方損失的寬神經網路進行基於梯度的訓練，可以從具有特定成分核的高斯過程得出測試集**。
儘管這些理論結果僅在無限寬度範圍內是精確的(exact)，但即使對於有限的實際規模的網路，我們仍然在原始網路的**與線性化版本的**之間找到了極好的經驗(excellent empirical)一致性。
該協議在不同的體系結構，優化方法和損失函式之間都非常可靠。
神經網路 梯度下降
優化問題newton s method 牛頓法 least squares method最小二乘法 gradient descent梯度下降法 當 cost對w的梯度最小 斜率最小 時，誤差最小。我們從圖中可以看出,cost 誤差最小的時候正是這條 cost 曲線最低的地方,不過在藍點的 w 卻不知...
神經網路的梯度下降法
常用的神經網路如bp神經網路 rbf神經網路等都有三層神經元，即輸入層 隱藏層和輸出層。我們知道通過不斷的修改神經元之間的權值和偏置使網路的輸出能夠擬合所有的訓練輸入，為了量化這個目標，引入乙個代價函式 其中w表示所有網路中權值集合，b是所有的偏置，n是訓練輸入資料的個數，a表示當輸入為x時輸出的向...
神經網路入門之bp演算法，梯度下降
此時就出現了反向傳播這個過程。而配合反向傳播的就是梯度下降法了。現在很多同學可能會很暈，當時我第一次看的時候也很暈。為了容易理解梯度下降法，建議去看ng的斯坦福網課第二節，非常清楚。比我寫的清楚多了。梯度下降法是求 區域性 最好的w。設誤差函式為 j 12 y o 2 12 y f wix i 2 ...