梯度下降法簡單來說就是一種尋找目標函式最小化的方法。只要你接觸機器學習領域或者說接觸深度學習領域你就一定會見到它，而在深度學習中，經常有人會拿下面這幅圖來比較各種優化演算法的性質，想必你也比較了解。有人說是梯度下降法成就了這幾年深度學習的發展，可見其重要性。
考慮這樣乙個問題：為什麼梯度下降法可以作為一種求最小值的方法，換句話說你有沒有證明推導過梯度下降法的公式，這其實對我們於深度學習技術的掌握很重要。有關於梯度下降法的推導、證明方法有很多，讀者若是感興趣可多找一些資料了解一下。我的寫作風格一直都是力爭簡明概要，鑑於此原則我選擇推導這種非常簡潔的證明方式。
假設一連續可導的函式f，給定絕對值足夠小的數ε，根據泰勒展開公式：
這個公式在你的大一高等數學教材中就能找到，這裡的f在x處的梯度。一位函式的梯度也稱為導數。如存在乙個常數η> 0 , 使得
如果導數
這就是意味著，如果通過式子：
來更新引數x ，則一定會使得
機器學習（三） 梯度下降法
本部落格大部分參考了這篇博文 在微積分裡面，對多元函式的引數求 偏導數，把求得的各個引數的偏導數以向量的形式寫出來，就是梯度。比如函式f x,y 分別對x,y求偏導數，求得的梯度向量就是 f x f y 簡稱gr adf x,y 或者 f x,y 如果是3個引數的向量梯度，就是 f x f y，f ...
機器學習（二） 梯度下降法
前言 在上篇博文機器學習 一 中，最後我們提到，通過計算代價函式j 是否收斂於最小值來確定假設函式的引數 進而訓練出機器學習中的線性回歸演算法，那麼如何來找到使得j 最小話的引數 呢，本篇博文將介紹一種常用的方法，梯度下降法來確定引數 值。一 對於單特徵線性回歸，梯度下降法的演算法如下 repeat...
機器學習一（梯度下降法）
最近偶觸python，感ctrl c和ctrl v無比順暢，故越發膨脹。怒拾起python資料分析一pdf讀之，不到百頁，內心惶恐，嘆 臥槽，這都tm是啥，甚是迷茫。遂感基礎知識薄弱，隨意搜了機器學習教程，小看一翻。此文給出課件中幾個演算法，自己都不知道對不對，感覺還可以吧。本文以線性回歸為例，在給...