運籌學（2）
多維無約束優化演算法——梯度法之牛頓法
一. 原理
牛頓法與最速下降法同屬於求解多維無約束優化演算法的搜尋演算法，也是梯度法的一種。但與最速下降法最大的不同在於為了避免最速下降法鋸齒形的搜尋路徑在接近最優點時收斂過慢，牛頓法的迭代更新公式在搜尋方向得選擇策略上與最速下降法是最大的區別。牛頓法的思想就是在每一次迭代中，以乙個二次函式來近似表示所要求解的目標函式，搜尋迭代方向從迭代的那一點指向二次函式的極值點。並且如果目標函式為二次正定函式，牛頓法一次迭代就可以最優。
（1）搜尋方向
p 的計算 在 x
(k)處對
f(x)
用乙個二次函式代替得： f(
x)≈f
(x(k
))+δ
f(x(
k))t
(x−x
(k))
+12(
x−x(
k))δ
2f(x
(k))
(x−x
(k))
又因為上式中的海塞矩陣δ2
f(x(
k)) 為正定矩陣。所以此二次函式的極小點為其駐點。則對上式求導得 x=
x(k)
−δ2f
(x(k
))−1
δf(x
k)可以得到牛頓法的搜尋方向p 為
−δ2f
(x(k
))−1
δf(x
k)。 （2）牛頓法的搜尋步長
t 取1
則得到牛頓法的迭代更新公式為：x=
x(k)
−δ2f
(x(k
))−1
δf(x
k)二. 演算法步驟
(1). 取初始點x(
0),確定終止誤差
ϵ>0
(2).求δf
(xk)
,如果δf
(xk)
<ϵ
p (4).求得下一迭代點x=
x(k)
−δ2f
(x(k
))−1
δf(x
k),繼續進行第（2）步
三. 例子
用牛頓法求解
minf(x
)=x2
1+25x
22,選取初始點為(2
,2)t
,ϵ=10
−6解：（1）δf
(x0)
=(4,
100)t
p=−(
2,2)
t 下一迭代點x=
x(0)
+p=(
0,0)
t ,並且最終滿足迭代終止條件，得最優點為x=
(0,0
)t.四.優缺點
優點：
（1):相對最速下降法，牛頓法收斂的速度更快。尤其對於目標函式為二次函式，可以經過一次迭代得到最優解，如上例。
缺點：
（1）牛頓法的迭代搜尋計算複雜。
（2）對於目標函式為非二次函式，牛頓法並不一定能夠很好的收斂。對於離最優解較遠的優化也不一定可以很好的收斂。
初識運籌學
運籌學的基本概括圖如下 凡事預則立，不預則廢 可見預見的重要作用。就其應用方法來說 分為 定性 定量 由於社會活動的複雜性，至今還沒有找到乙個 方法能使管理人員滿意的 精度，但是因為管理然預案每天都要進行決策，因此他們總要努力滴去手機所能得到的，並非理想 資料區 未來的不確定事件 有了 才能更好的進...
運籌學總結
一 思維導圖 二 內容的認識和記錄 1 凡事預則立，不預則廢 2 決策 狹義 對一些可供選擇的方案做出抉擇。廣義 和管理相近，包括四個程式 明確決策專案的目的，尋求可行的方案，在可行方案中抉擇，對選定的決策方案進過實施後的結果總結評價。3 庫存管理 為保障生產，對倉庫物資的管理，使之達到平衡，減少浪...
運籌學（4）模式搜尋法
運籌學 4 多維無約束優化演算法 直接搜尋法之模式搜尋法 1.原理 在之前分享的座標輪換這一直接搜尋演算法的基礎上，為了優化座標輪換法，克服座標輪換法有時優化速度太慢，隨後有了模式搜尋法這一直接搜尋演算法。模式搜尋法的思想是沿著相鄰的基點連線的方向進行搜尋迭代。它主要分為兩大步驟 1 軸向搜尋。2 ...