演算法步驟：
輸入樣本、學習率
初始化權重w，與偏置b
反覆執行：(1)正向傳播資訊：選定樣本，沿著一層層的網路算出估計值y（2）反向傳播誤差：依照估計值與實際值，由損失函式產生的梯度，更新w,b
需要提供學習率（較小）和權重改變量（常量，e.g0.00001）。
解決了反向傳播演算法中導致權重改變量太大的問題。丟棄梯度的值，而只用梯度的符號。即如梯度》0,則權重+乙個特定的值（權重改變量），=0不改變，<0則-乙個特定的值（權重改變量）。
需要提供學習率。（2.0很好）
基於牛頓法，不需要動量引數。（經典的qprop比bp高效很多）
不需要提供引數。
最有效的監督前饋神經網路訓練演算法。類似曼哈頓更新，但不用提供常量，delta隨梯度變化。
不需要引數。
基於共軛梯度法，但不是所有資料都適用，適用時效率很高。
不需要提供引數。
最有效的訓練演算法。該演算法是牛頓法和梯度下降演算法相結合的一種混合演算法。梯度下降演算法保證收斂到區域性極小值，但比較緩慢；牛頓法很快，但很容易不收斂。通過使用阻尼因子在兩者之間插值，生成了lm演算法，整合了兩者的優勢。
Pytorch搭建神經網路完成監督學習 回歸任務
要實現監督學習訓練，我們首先要有訓練集 trainning set 我們用如下方法建立 import torch import matplotlib.pyplot as plt import torch.nn.functional as f from torch.autograd import va...
深度學習概論 用神經網路進行監督學習
事實上，到目前為止，幾乎所有由神經網路創造的經濟價值都基於其中一種機器學習，我們稱之為 監督學習 supervised learning 在監督學習中，輸入 x，學習得到乙個函式，對映到輸出 y，比如之前輸入房間特徵，得到 下面是監督學習的一些例子 深度學習在廣告 計算機視覺 語音識別 機器翻譯 無...
新手上路之opencv神經網路有監督學習分類
水平有限難免錯誤，批判性 神經網路的理論太多了，下面給個鏈結大家可以去看下 原理能懂當然好了，其實不懂也不影響使用，只要明白神經網路的基礎結構就行了。下面來說說opencv裡面使用神經網路需要注意的地方。第一步是訓練 神經網路和svm的不同是需要在呼叫train方法之前建立結構。即有多少層，每層有多...