對幾個經典方法的整理和比較
手打一下公式
梯度下降法：面向任何函式，收斂速度一階，有發散可能。梯度下降法考慮函式的一階梯度（一階泰勒展開），找到乙個合理的迭代方向，但是不能確定步長。
只利用了當前點的切線(一階梯度）的資訊
$x = x_0 - \lambda\nabla$
牛頓法：面向任何函式，收斂速度二階，有發散可能。使用了二階的梯度，
令 $f'(x_0) + (x-x_0)f''(x_0) = 0$, 可得$ x = x_0 - \frac$。其中f'就是梯度$\nabla$, f''就是海森陣$h$, 也是二階梯度$\nabla^2$
每次可以獲得乙個點！而不是乙個方向。因為利用了二階梯度的資訊，相當於把原函式展開成乙個二次函式，求解最小值，收斂速度也比梯度下降快。同樣有發散的可能性，計算二階梯度計算量很大。
阻尼牛頓法：增加一維的步長搜尋
擬牛頓法：簡化對二階梯度的計算
高斯牛頓法：針對目標函式有最小二乘的形式。簡化海森陣h的計算，利用雅可比矩陣的資訊。計算量變小了，同樣需要一階搜尋來確定步長
$ x = x_0 - [j^tj^]j^tf(x)$
缺點若二次項的值比較大，會導致難以忽略，高斯牛頓法的收斂速度會很慢，甚至無法收斂。
levenberg–marquardt演算法
增加乙個係數μ，用它來控制演算法的收斂。
演算法剛剛執行的時候，接近於梯度下降法，收斂到極小值附近。演算法執行到後面，接近於高斯牛頓法，避免**。
約束！
最優化學習4
根據已學習內容，解決現在遇到的問題 1.這是乙個凸優化問題嗎 經過一輪推導，對於變數為感測器位置，x,y,z。並不是凸函式 2.需要多少個等式對應多少個未知數 至少達到變數數，越多越好 3.如果使用lm方法，怎麼加入約束條件 涉及到的約束 手臂長度約束，不等式，20 感測器位置約束，不等式，4 x,...
最優化學習筆記（二） 二分法
二分法是一種一維搜尋方法。它討論的是求解一元單值函式f r r在 區間 a 0,b0 的極小點問題。同時要求函式 f 在區間 a 0,b0 上為單調函式，並且是連續可微的，這裡將使用 f 的一階導數f 二分法的計算過程比較簡單，它主要是利用一階導數來連續壓縮區間的方法。1.確定初始區間的中點 x 0...
最優化學習筆記（四） 最速下降法
最速下降法是梯度方法的一種實現，它的理念是在每次的迭代過程中，選取乙個合適的步長 k 使得目標函式的值能夠最大程度的減小。k 可以認為是函式 k f x k f x k 的極小值點 k arg minf x k f x k 0由梯度迭代公式可知 x k 1 x k f x k 上式的解釋是找到最優的...