目錄
在詳細了解梯度下降的演算法之前，我們先看看相關的一些概念。
1. 步長（learning rate）：步長決定了在梯度下降迭代的過程中，每一步沿梯度負方向前進的長度。用上面下山的例子，步長就是在當前這一步所在位置沿著最陡峭最易下山的位置走的那一步的長度。
2.特徵（feature）：指的是樣本中輸入部分，比如2個單特徵的樣本（x(0),y(0)）,（x(1),y(1)）（x(0),y(0)）,（x(1),y(1)）,則第乙個樣本特徵為x(0)x(0)，第乙個樣本輸出為y(0)y(0)。
3. 假設函式（hypothesis function）：在監督學習中，為了擬合輸入樣本，而使用的假設函式，記為h(x)h(x)。比如對於單個特徵的m個樣本（x(i),y(i)）(i=1,2,...m)（x(i),y(i)）(i=1,2,...m),可以採用擬合函式如下： h(x)=0+1xh(x)=0+1x。
4. 損失函式（loss function）：為了評估模型擬合的好壞，通常用損失函式來度量擬合的程度。損失函式極小化，意味著擬合程度最好，對應的模型引數即為最優引數。**性回歸中，損失函式通常為樣本輸出和假設函式的差取平方。比如對於m個樣本（xi,yi）(i=1,2,...m)（xi,yi）(i=1,2,...m),採用線性回歸，損失函式為：
j(0,1)=∑i=1m(h(xi)−yi)2j(0,1)=∑i=1m(h(xi)−yi)2
其中xixi表示第i個樣本特徵，yiyi表示第i個樣本對應的輸出，h(xi)h(xi)為假設函式。
分享人：張嬌娟
Python深度學習02 神經網路的數學基礎
2.1 初始神經網路 mnist資料集 手寫數字的灰度影象 28 畫素 28 畫素 包含 60 000 張訓練影象和 10 000 張測試影象。類 分類問題中的某個類別叫作類 class 樣本 資料點叫作樣本 sample 標籤 某個樣本對應的類叫作標籤 label 損失函式 loss functi...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...