整理一下資源，不過最好還是根據書上的理論好好推導一下.....
本文是deep learning 之 最優化方法系列文章
deep learning 之 最優化方法
deep learning 最優化方法之sgd
deep learning 最優化方法之momentum（動量）
deep learning 最優化方法之nesterov(牛頓動量)
deep learning 最優化方法之adagrad
deep learning 最優化方法之rmsprop
deep learning 最優化方法之adam
在svm裡面已經講習過sgd方法，這裡重寫一遍.....
最優化方法
1無約束約束方法 梯度下降 求解線性回歸，有明確的目標函式。利用目標函式的梯度來更新引數，使用最小二乘時，用loss的梯度更新。範數為2的最速下降。牛頓法 目標函式已知，用泰勒展開的近似作為近似解，把近似值帶入目標函式求出近似的引數作為更新值。由於捨棄了泰勒公式的高階項，新的引數值會更接近真實解。在...
最優化方法 概述
乙個簡單的問題描述如下 周長一定，圍成怎樣的形狀能使得面積最大。西元前212 187年，古希臘數學家阿基公尺德 archimedes 就曾證明了已知周長，圓所包圍的面積最大的等周問題。這算是乙個基本的最優化問題。最優化方法定義 應用數學的重要研究領域。它是研究在給定約束之下如何尋求某些因素 的量 以...
最優化方法總結
1.座標下降法 coordinate descent method 對於乙個最優化問題 min x f x 1,x 2,x n 其求解過程如下 loop until convergence for i 1 n x i arg min x i f x 1,x 2,x i 1,x i,x i 1,x n...