1、matlab**
function [min_x,min_f,k]
=steepest_destcent
(f,x0,var,eps)%%
%輸入目標函式f,初始點x0,以及自變數var和精度eps%%
%利用newton迭代法計算無約束目標函式極小值；%%
%輸出最小值點min_x,最小值min_f以及迭代次數k。
syms a;
ff=sym
(f);
j=jacobian
(f,var)
;%計算函式的雅可比矩陣，
falg=1;
... ！！！知識點：梯度恰好是雅可比矩陣的轉置；
x=x0;k=0
;%計數器；
while falg
g=(double
(subs
(j,var,x)))
;%subs函式；不明白的可以去問問度娘!
ifnorm
(g,2
)>eps %演算法停止標準；
f_a=
subs
(ff,var,x-a*g)
; f_diff =
simplify
(diff
(f_a,a)
);
alpha =
max(
double
(solve
(f_diff)))
;%求解步長\alpha，
x=double
(x-alpha*g)
;%產生新迭代點；
k=k+1;
else
break
endendmin_x=x;
%最優解
min_f=
subs
(f,var,min_x)
;%目標函式最小值。
機器學習 最速下降法和牛頓下降法
入門教材常用二分法來求解實數求根的問題。我們現在來用普通迭代法 下降法來求解實數開立方根的問題。設當前實數為n，求根次數為k，根為s,那麼有s k n。所得偏差函式為f s s k n。顯然當代價函式f s 0時，我們便求出了n的k次根。現在我們開立方根，那麼k 3，代價函式為f s s 3 n。普...
最速下降法 and 共軛梯度法
註明 程式中呼叫的函式jintuifa.m golddiv.m我在之前的筆記中已貼出 最速下降法 最速下降法求解f 1 2 x1 x1 9 2 x2 x2的最小值，起始點為x0 9 1 演算法根據最優化方法 天津大學出版社 97頁演算法3.2.1編寫 v1.0 author liuxi bit fo...
最速下降法與Newton法
乙個簡單的最優化問題如下 在二維空間上尋找函式的最大值。一般我們常見的解析法，是求導，得極值點。這裡不再討論。很多情況下解析法很難求解，常會用到一種迭代慢慢逼近的方法，就是迭代法。如下圖。迭代法由乙個基本的可行點出發，依次產生乙個可行點列，x1,x2,xk，f xk 1 迭代法基本步驟如下 1.乙個...