gauss-newton在newton法上做了一些改進，newton法需要通過$$\nabla^2 f_k p_k =-\nabla f_k $$計算出優化方向\(p_k\)，現在直接把上面得到的估計式代入，得到gn方向\(p_k^\)滿足$$j_ktj_kp_k=-j_k^tr_k$$由於求梯度的時候就已經計算了\(j\)，所以第二步完全省略了hessian矩陣的計算時間，接下來就可以按正常的步驟選擇優化步長。
l-m方法就是改進後的信任域方法，仍然是利用二乘方問題獨有的hessian估計，在迭代點求解$$m_k = \frac|r_k|2+ptj_ktr_k+\fracptj_k^tj_kp \quad |p|\leq \delta_k$$即$$m_k = \frac \j_kp+r_k||_2^2 \quad |p| \leq \delta_k$$
正交距離回歸是在回歸問題中不僅考慮到因變數的誤差，還考慮到自變數的測量誤差而得到的優化問題，目標函式有如下形式$$f(x) = \frac\sum_^m w_j^2 \epsilon_j^2 +d^2_j \delta_j^2$$其中\(d_j\)是常數權重並且$$y_j =\phi(x;t_j+\delta_j)+\epsilon_j$$正交距離回歸示意圖如下
這個目標函式也可以整理成普通二乘方目標函式的形式
然而規模似乎大了一倍，幸運的是，它的jacobian有特殊的形式
\(\hat\)是\(w_j \phi(t_j+\delta_j;x)\)的jacobian，v，d是對角陣
數值最優化
多元函式 1.設多元函式 f rn r 二次連續可微，則 f 在 x 處的梯度和hessian矩陣為 f x f x x 1,f x x2,f x x n t 2f x f x x21 f x x n x1 f x x1 x n f x x2n 2.多元函式的taylor展開式 一階 f x f y...
數值優化介紹
一 模型與演算法 模型是將抽象的實際問題轉化成數學問題，用便於理解和計算的數學模型表示，通俗的說可以把模型理解為 計算公式，常見數學定義定理等，演算法即計算方法，是求解數學模型用的，就是 將模型解出的方法。總之，模型是將實際問題數學化，演算法是將其中所蘊含的數學問題進行求解。數學模型，是 對某乙個具...
數值優化（三）
線搜尋方法的基本過程都是在每一次迭代中先計算出乙個優化方向 p k 再在這個方向上對目標函式做一維優化，即選取合適的 alpha k 使 x x k alpha p k 達到優化目的。一般來說，選取 p k b k nabla f k 其中 b k 是乙個對稱正定矩陣，b k 的選取有多種選擇，比如...