最美的等待是，我們——未來可期。
梯度下降法的基本思想可以模擬為乙個下山的過程。假設這樣乙個場景：乙個人被困在山上，需要從山上下來(i.e. 找到山的最低點，也就是山谷)。但此時山上的濃霧很大，導致可視度很低。因此，下山的路徑就無法確定，他必須利用自己周圍的資訊去找到下山的路徑。這個時候，他就可以利用梯度下降演算法來幫助自己下山。具體來說就是，以他當前的所處的位置為基準，尋找這個位置最陡峭的地方，然後朝著山的高度下降的地方走，同理，如果我們的目標是上山，也就是爬到山頂，那麼此時應該是朝著最陡峭的方向往上走。然後每走一段距離，都反覆採用同乙個方法，最後就能成功的抵達山谷。
1.步長或學習效率(learning rare)：步長決定在梯度下降過程中，每一步沿梯度負方向前進的距離。
2.假設函式(hppothesis function)：也就是我們的模型學習到的函式 記為 h_θ(x) = θ0x0+θ1+x1+θ2x2+…=θtx
3.損失函式(loss function): 損失函式是用來評估模型h_θ(x)的好壞，通常用損失函式來度量擬合的程度，線性回歸中損失函式通常為label和假設函式輸出的差的平方。自己理解為（實際值-真實值）的平方。
梯度下降的基本過程就和下山的場景很類似。
首先，我們有乙個可微分的函式。這個函式就代表著一座山。我們的目標就是找到這個函式的最小值，也就是山底。根據之前的場景假設，最快的下山的方式就是找到當前位置最陡峭的方向，然後沿著此方向向下走，對應到函式中，就是找到給定點的梯度 ，然後朝著梯度相反的方向，就能讓函式值下降的最快！因為梯度的方向就是函式之變化最快的方向(在後面會詳細解釋) 所以，我們重複利用這個方法，反覆求取梯度，最後就能到達區域性的最小值，這就類似於我們下山的過程。而求取梯度就確定了最陡峭的方向，也就是場景中測量方向的手段。那麼為什麼梯度的方向就是最陡峭的方向呢？接下來，我們從微分開始講起
看待微分的意義，可以有不同的角度，最常用的兩種是：
3.確定當前位置的損失函式的梯度，對於θ_j,梯度如下
5.更新所有的θ，對於θ_j（其更新的表示式如下
批量梯度下降法（batch gradient descent，簡稱bgd）是梯度下降法最原始的形式，它的具體思路是在更新每一引數時都使用所有的樣本來進行更新 優點：全域性最優解；易於並行實現； 缺點：當樣本數目很多時，訓練過程會很慢。
隨機梯度下降是通過每個樣本來迭代更新一次， 如果樣本量很大的情況（例如幾十萬），那麼可能只用其中幾萬條或者幾千條的樣本，就已經將theta迭代到最優解了，對比上面的批量梯度下降，迭代一次需要用到十幾萬訓練樣本，一次迭代不可能最優，如果迭代10次的話就需要遍歷訓練樣本10次。但是，sgd伴隨的乙個問題是噪音較bgd要多，使得sgd並不是每次迭代都向著整體最優化方向。 優點：訓練速度快； 缺點：準確度下降，並不是全域性最優；不易於並行實現。
有上述的兩種梯度下降法可以看出，其各自均有優缺點，那麼能不能在兩種方法的效能之間取得乙個折衷呢？即，演算法的訓練過程比較快，而且也要保證最終引數訓練的準確率，而這正是小批量梯度下降法（mini-batch gradient descent，簡稱mbgd）的初衷。mbgd在每次更新引數時使用b個樣本（b一般為10） 不過都叫梯度下降演算法，可見他們的核心是沒有變的，變化的只是取訓練集的方式，而梯度下降最核心的就是對函式求偏導，這個是在高等數學裡有的。
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt
#構造訓練資料 h（x）
x = np.arange(0.
,10.,
0.2)
m =len
(x)x0=np.full(m,
1.0)
train_data = np.vstack(
[x0,x]
).t #通過矩陣變化得到測試集【x0，x1】
y =4
*x+1
+np.random.randn(m)
#構造「標準」答案
defbgd
(alpha,loops,epsilon)
:'''
alpha:步長
loops:迴圈次數
epsilon:收斂精度
'''count=
0#loop次數
thata = np.random.randn(2)
#隨機thata向量初始的值也就是起點位置
err = np.zeros(2)
#上次thata的值，初始化為0的向量
finish=
0#完成標誌位
result =
while count
count+=
1#所有訓練資料的期望更新一次thata
sum= np.zeros(2)
#初始化thata更次年總和
for i in
range
(m):
cost =
(np.dot(thata,train_data[i]
)-y[i]
)*train_data[i]
sum+=cost
thata = thata-alpha*
sum)
if np.linalg.norm(thata-err)
#判斷是否收斂
finish =
1break
else
: err=thata#沒有則將當前thata向量賦值給err，作為下次判斷引數
print
(f'sgd結果:\tloop——counts： [%d]\tthata[%f,%f]'
%(count,thata[0]
,thata[1]
))return thata,result
if __name__==
'__main__'
: result=
thata,result=bgd(
0.00009
,10000,1e
-4) slope,intercept,r_value,p_value,slope_std_error=stats.linregress(x,y)
print
(f'stata結果:\tintercept(截距)：[%s]\tslope(斜率)：[%s]'
%(intercept,slope)
)for i in
range
(len
(result)):
plt.scatter(i,result[i]
)#plt.plot(x,y,'k+')
#plt.plot(x,thata[1]*x+thata[0],'r')
plt.show(
)
梯度下降演算法推導
x y 都表示 權重，f 表示損失函式。f x delta x,y delta y f x,y frac cdot delta x frac cdot delta y f x delta x,y delta y f x,y frac cdot delta x frac cdot delta y de...
梯度下降演算法 梯度下降演算法公式推導
場景假設 梯度下降法的基本思想可以模擬為乙個下山的過程。假設這樣乙個場景 乙個人被困在山上，需要從山上下來 找到山的最低點 但此時山上的濃霧很大，導致可視度很低 因此，下山的路徑就無法確定，必須利用自己周圍的資訊一步一步地找到下山的路。這個時候，便可利用梯度下降演算法來幫助自己下山。怎麼做呢，首先以...
梯度下降及BP演算法詳細推導
隨著深度學習的火熱，人們在驚呼其效果之外，對其表現出如此效果的內在原理卻知之甚少，為此，本文基於自己在之前課堂上學習到的知識對其內部工作情況做乙個較為詳細的介紹，考慮到目前主流深度學習還是基於隨機梯度下降及bp演算法進行網路引數的調整，為此本章將對bp演算法進行詳細的推導，希望能對剛入門的讀者有所幫...