1. 人類的一切活動都是認識世界和改造世界的過程，即： 認識世界 （建模）→ 改造世界（優化）
2. 一切學科都是建模與優化在某個特定領域中的應用：概念模型(定性) → 結構模型(圖) → 數學模型 → 智慧型模型
3. 最優化理論的發展 :
① 極值理論；
② 運籌學的興起(operation research)；
③ 數學規劃：線性規劃(lp)；非線性規劃(nlp)；動態 規劃(dp)；馬爾可夫規劃(mdp)；排隊論；決策論；儲存論。
4. 最優化理論在國民經濟中的廣泛應用。
1. 選乙個初始解：
① lp：大m，二階段法
② nlp：任意點或乙個內點
2. 停止判據——停止規則最優性檢驗
①lp：檢驗數
②nlp：
3. 向改進方向移動——改進解
① lp：轉軸變換(進基、退基)
② nlp：向負梯度方向移動(共軛梯度方向、牛頓方向)
三步曲框圖
1. 對問題中目標函式、約束函式有很高的要求——有顯式表達，線性、連續、可微，且高階可微；
2. 只從乙個初始點出發，難以進行並行、網路計算、分布式計算，難以提高計算效率；
3. 最優性達到的條件太苛刻——問題的函式為凸，可行域為凸；
4. 在非雙凸條件下，沒有跳出區域性最優解的能力。
1. 對問題的描述要寬鬆(目標和約束函式)——可以用一段程式來描(程式中帶判斷、迴圈)，函式可以非連續、非凸、非可微、非顯式；
2. 並不苛求最優解——通常滿意解、理想解就可以了；
3. 計算快速、高效,可隨時終止(根據時間定解的質量)；
4. 能夠處理資料、資訊的不確定性(如資料的模糊性，事件的隨機性)。
1. 2023年holland提出遺傳演算法(genetic algorithm)
2. 2023年glouer提出禁忌搜尋演算法(tabn search)
3. 2023年kirkpatrick提出模擬退火演算法(simulated annealing)
4. 人工神經元網路（與今天的人工智慧密切相關）
5. 2023年dorigo提出蟻群演算法(ant colony optimization)
6. 2023年kennedy & eherhart提出粒子群優化(particle swarm optimization)
7. 其它
① 文化演算法(cultural algorithm)
② 人工生命演算法(artificial-life algorithm)
我們統稱以上演算法為人工生命計算(artificial life computation)
人工生命計算 + 模糊邏輯 (fuzzy logic)=軟計算(soft computation)
人工生命計算 + 進化程式設計 = 進化演算法 (evolutionary computation)
五、現代優化演算法
1. 現代優化演算法又稱智慧型優化演算法或現代啟發式演算法，是一種具有全域性優化效能、通用性強、且適合於並行處理的演算法。
2. 這種演算法一般具有嚴密的理論依據，而不是單純憑藉專家經驗，理論上可以在一定的時間內找到最優解或近似最優解。
3. 待解決的問題
離散性、不確定性、大規模
4. 現代的優化方法
啟發式演算法（heuristic algorithm）
追求滿意（近似解）
實用性強（解決實際工程問題）
5. 現代的評價方法
演算法複雜性
6. 它們的共同特點：都是從任一解出發，按照某種機制，以一定的概率在整個求解空間中探索最優解。由於它們可以把搜尋空間擴充套件到整個問題空間，因而具有全域性優化效能
7. 特點：
1)不依賴於初始條件；
2)不與求解空間有緊密關係，對解域無可微或連續的要求；
3)容易實現，求解穩健;
4)但收斂速度慢，能獲得全域性最優；適合於求解空間未知的情況;
5)sa（simulated annealing)，ga可應用於大規模、多峰多態函式、含離散變數等全域性優化問題；求解速度和質量遠超過常規方法。
六、應用前景、侷限性、研究方向和注意事項
1. 應用前景十分廣闊——國民經濟的各個領域
2. 侷限性——不能保證最優解，理論上不完備
3. 研究方向及注意事項
① 以應用為主，擴大面向新問題的應用；不要刻意做理論研究，若碰上也不拒絕;
② 演算法改進表現在以下幾個方面：問題的描述、編碼方法、演算法構造及可行性修復策略;
③ 要進行大量的上機計算；
④ 算例的選取，以下算例的說服力降序排列：網上的測試用例、文獻中的例子、實際例子、隨機產生的例子、自己編的例子;
⑤ 如何檢驗演算法的好壞：比較計算速度、可解規模、(從不同的隨機種子出發)達優率。
智慧型優化方法
jde的特點 每個引數都是以一定的概率隨機修改 在預先指定的範圍內 並且只有在試驗成功時才會為下一代保留修改後的引數。另外jde的擴充套件，它定期將人口規模縮小一半以便集中搜尋。epsde的特點 使用3個分別的變異池，分別對應變異 f cr。變異策略池包括 rand 1 bin,best 2 bin...
集體智慧型程式設計 第1章 集體智慧型導言
集體智慧型通常是指為了創造新的想法，而將一群人的行為 偏好或思想結合在一起。完成這項工作的最基礎的方法便是使用調查問卷或普查。從一大群人中搜尋的答案可以使我們得到關於群主的統計結論 組中的個體成員將會被忽視。從獨立的資料提供者那裡得到新的結論，是集體智慧型所真正關注的。機器學習是人工智慧領域中與演算...
系統優化方法與智慧型優化演算法
系統優化方法與智慧型優化演算法 系統優化方法在各種工程系統 經濟系統，乃至社會系統中得到了廣泛的應用。最優化理論的研究也一直是乙個十分活躍的領域，出版了許多最優化理論 方法和應用的著作和譯作。梯度為基礎的傳統優化演算法具有較高的計算效率 較強的可靠性 比較成熟等優點，是一類最重要的 應用最廣泛的優化...