通俗地說，就是求乙個函式在可行域上的極值。
若函式無約束條件則稱為無約束優化；若約束條件為等式則稱為等式約束優化；若約束條件為不等式則稱為不等式約束優化。
最優性條件即極值點滿足的條件。
一階必要條件：一階導數等於0
二階必要條件：二階導數大於等於零
在單變數的情況下可以採用線搜尋技術，常用方法有兩種：**分割法和拋物線法。
拋物線法：
若已知三個點s1,s2,s3,以及它們對應的函式值，就可以以這三個點構造二次函式，並求出對應的極值點，再通過比較這4個點，得到新的區間，若小於容許誤差，則停止迭代。
選取一階導數，也就是，梯度方向作為下降方向，利用線搜尋方法確定步長因子ak，當一階導數小於等於容許誤差時停止迭代。
之字形下降，收斂速度慢
基本思想是利用xk處的一階導數和二階導數將目標函式近似為乙個二次函式，然後把這個二次函式的極小點作為新的迭代點，如果小於容許誤差則停止迭代。
下降方向：
gk*dk=-gk
gk是二階導數，gk是一階導數
收斂速度較快，但是初始點需要足夠靠近極小點，否則可能導致最終無法收斂
rk為一階導數，pk為下降方向
計算量少，儲存方便
使得目標函式與真值的差的平方和最小的方法，稱為最小二乘法。
高斯牛頓法
βs相當於xk
上面的幾種方法都適用於無約束優化問題，罰函式法適用於約束優化問題。
實際上罰函式是通過在目標函式中新增罰函式項，使得約束優化問題轉化為無約束優化問題。
比如約束條件是x1+x2=1,那麼就可以在函式中加上10000（x1+x2-1)^2這個項，因為10000是乙個很大的引數，為了使整個函式盡量小，就必須使這個罰函式項=0。
最優化理論
最優化 optimization 應用數學的重要研究領域.它是研究在給定約束之下如何尋求某些因素 的量 以使某一 或某些 指標達到最優的一些學科的總稱.由於運籌學中出現的問題大多即是最優化所研究的問題，因此運籌學的許多分支，如數學規劃 組合最優化 排隊論，以及決策論等也是最優化的組成部分.此外，最優...
最優化理論
2017 10 24 最優化是應用數學的乙個分支，只不過對於計算機系的同學而言其實還是非常重要的。像現在很火的方向，如機器學習 計算機視覺 計算機圖形學 機械人等方向中都有非常基礎的應用，還有機械 物理 生物等，更不用說金融方向的quant。相信很多同學都學過最優化，對於軟體方向的同學應該是四年級的...
20190602 最優化理論基礎
所謂最優化方法，就是求乙個多元函式在某個給定集合上的極值。min f x s.t.x屬於k k是某個給定的集合 稱為可行集或者是可行域 f x 是定義在集合k上的實值函式，此外，在模型中，x通常稱為決策變數，s.t.是subject to 的縮寫 人們按照可行集的性質對最優化問題，進行乙個大致的分類...