所謂最優化方法，就是求乙個多元函式在某個給定集合上的極值。
min f(x)
s.t. x屬於k
k是某個給定的集合（稱為可行集或者是可行域）f(x)是定義在集合k上的實值函式，此外，在模型中，x通常稱為決策變數，s.t. 是subject to 的縮寫
人們按照可行集的性質對最優化問題，進行乙個大致的分類
線性規劃和非線性規劃 可行集是有限維空間的乙個子集
組合優化或網路規劃 可行集中的元素是有限的
動態規劃 可行集是乙個依賴時間的決策序列
最優控制 可行集是無窮維空間的中的乙個連續子集
精確線搜尋分為兩類，一類是使用導數的搜尋法，如牛頓法、插值法及拋物線法；另一類是不用導數的搜尋，如0.618法，分數法及成功-失敗方法
**分割法
**分割法也稱為0.618法，其基本思想是通過試探點函式值的比較，使得包含極小點的搜尋區間不斷縮小，該方法僅需要計算函式值，適用範圍廣，使用方便，
φ(s) = f(xk + sdk),
此函式是搜尋區間[a0,b0]上的單峰函式，在第i次迭代之後，區間為[ai,bi]，取兩個試探點pi,qi屬於[ai,bi] 且pi
最優化理論
最優化 optimization 應用數學的重要研究領域.它是研究在給定約束之下如何尋求某些因素 的量 以使某一 或某些 指標達到最優的一些學科的總稱.由於運籌學中出現的問題大多即是最優化所研究的問題，因此運籌學的許多分支，如數學規劃 組合最優化 排隊論，以及決策論等也是最優化的組成部分.此外，最優...
最優化理論
2017 10 24 最優化是應用數學的乙個分支，只不過對於計算機系的同學而言其實還是非常重要的。像現在很火的方向，如機器學習 計算機視覺 計算機圖形學 機械人等方向中都有非常基礎的應用，還有機械 物理 生物等，更不用說金融方向的quant。相信很多同學都學過最優化，對於軟體方向的同學應該是四年級的...
最優化理論 機器學習基礎
目錄常見演算法 演算法分類 比喻說明 最優化理論研究的問題是判定給定目標函式的最大值 最小值 是否存在，並找到令目標函式取到最大值 最小值 的數值。人工智慧問題最後都會歸結為乙個優化問題的求解 在複雜環境與多體互動中做出最優決策。最優化演算法可能找到全域性最小值，也可能找到區域性最小值，理想情況下，...