發現乙個問題，一旦牛頓法的一維搜尋失敗，函式不降反公升。需要修改**，從避免被吸引到hessian非正定的區域性極值點。
同時發現昨天做的模型模擬的時候有限差商導數步長設太小了，提高導數步長之後（設成0.05），牛頓法收斂速度明顯加快（往往第一次迭代把梯度長度從幾十萬降到1k左右，第二次迭代進一步降到幾十，接下來由於浮點誤差（引數增量已經到達10^-6左右），在最優點附近**）
另外牛頓法求hessian太慢，可考慮bfgs法或強行固定雅可比矩陣的方法
接下來要開始cocos的學習了……
來自為知筆記(wiz)
一維牛頓法與多維牛頓法
julia中文文件 鼎鼎有名的泰勒展開式 收斂速度快 增加了乙個步長，步長用劃界法或其他方法來確定，保證每步都下降 修正目的 為非線性回歸的目標函式是使殘差最小，本質上還是乙個求最小值的問題 o矩陣的元素一般為0，可以省略 可見高斯牛頓法只需要用到一階偏導即可 using linearalgebra...
看牛頓法的改進與驗證區域性收斂
今天繼續看numerical optimization這本書，在看第六章，實用牛頓法。6.1 提到 不準確 的牛頓法。意思是每次確定迭代方向都要解方程，很慢，實際上也不一定要解出非常精確的迭代方向。於是嘗試用一些迭代解法 例如，共軛梯度法 去解 h x g 0這個方程。6.2 提到通過共軛梯度法解 ...
一維搜尋 二分法
二分法是用來求函式零點的方法，如果函式可導，那麼函式的一階導的零點就是原函式的極值點。但是如果原函式沒有極值點，比如乙個單調函式，其最值在某一端點。這樣求導後就不滿足二分法求零點的條件。1.二分法演算法步驟 1.二分法 maltab實現 測試函式 clc,clear f x 2 x.2 x 1 原函...