*方向導數： 設x
k是經k
步迭代後
得到的迭
代點，d
k是xk
在xk使
f(x)
下降的方
向，αk
>0是
沿k的步
長,則第
k+1個
迭代待是
xk+1=x
k+αk
dk滿足： f(
xk+1
)<(f
xk)
終止準則：f(
xk+1
−f(x
k)) 足夠小
設: 當前點為xk
, 搜尋方向是dk
, 視為α的
函式−h
(α)
h(α)
=f(x
k+αd
k),α
>0
當 α=
0，h(
0)=f
(xk)
導數： ▽h
(α)=
f(xk
+αdk
)tdk
當xk和dk
給定情況
，尋找最小值 α=
argmin
α>0h
(α)=
argmin
α>0f
(xk+
αdk)
=>等價於，若h(
α )可導，則區域性最小α是
h′(α)=▽
f(xk
+αdk
)tdk
=0（理想情況）
在足夠小的區域能qk
(d) 代替二階近似f（
xk+d
） q
k(d)
=fk+
gtkd
+12d
tgkd
等價於 mi
nqk(
d)
s.t.
||d|
|≤△k
,▽k>0
數值最優化
多元函式 1.設多元函式 f rn r 二次連續可微，則 f 在 x 處的梯度和hessian矩陣為 f x f x x 1,f x x2,f x x n t 2f x f x x21 f x x n x1 f x x1 x n f x x2n 2.多元函式的taylor展開式 一階 f x f y...
最優化 數值優化演算法
核心思路 對梯度方向做一些修正，使得每次迭代尋找最優點都在可行域的內部進行。我們從可行域內部的某個點開始搜尋，一開始沿著梯度方向進行迭代搜尋，一旦碰到邊界 說明下一步可能會離開可行域 就要扭轉方向，使得搜尋過程始終在可行域的內部進行。當點落在可行域外部時，該怎樣選擇搜尋方向，衍生出了下列的演算法。1...
最優化筆記
最優化筆記 上 尋找能使損失函式值最小化引數w的過程。評分函式 基於引數的函式對映 損失函式 svm為分段性結構 最優化 後兩者形式較穩定 對於svm分類器來說，由於max操作，損失函式存在一些不可導點，這些點使得損失函式不可微，梯度是沒有定義的，但次梯度依然存在且常常被使用。假設x train的每...