本篇所提到的優化演算法均為啟發式的優化演算法，這類優化演算法並不依賴於具體問題本身。因此，對絕大多數場景都可
「即插即用」。也正是因為這一點，這類演算法在很多情況下都不是最優的演算法。即對於具體問題而言，可能存在著其他更加高效率的演算法。比如對於凸優化問題來說，最速下降法、牛頓法、共軛梯度法等經典的非線性最優化方法的效率會更高。
本篇所提到的優化演算法的優勢在於，不需要對具體問題有很深入的了解就可以直接進行「暴力」解答。此外，這類演算法由於不依賴於具體場景，所以十分適合進行其他機器學習演算法的調參工作。
遺傳演算法是一種基於生物遺傳和進化機制的、適合複雜系統優化的自適應概率的隨機搜尋演算法，非常適應於處理傳統搜尋演算法難以解決的複雜和非線性優化問題。遺傳演算法的核心思想是：該演算法從隨機產生的初始種群開始搜尋，種群中每乙個個體代表問題的乙個解，稱為染色體。染色體的好壞用適應度值來衡量，根據適應度值從上一代中選擇一定數量的優秀染色體；之後通過交叉、變異等演算法形成子代染色體。經過若干代的進化後，演算法收斂於最好的染色體，即是問題的最優解或次優解。
遺傳演算法的優勢是：搜尋過程從問題解的乙個集合開始，而不是單個個體，具有隱含並行搜尋特性，可以大幅度提高搜尋效率；優化計算時演算法不依賴於梯度資訊，不要求目標函式連續且可導，更加適用於求解複雜的非線性組合優化問題。
遺傳演算法引數優化的主要過程如下：
粒子群演算法也是一種仿生物演算法，該演算法源於對鳥類捕食行為的研究，從鳥類的種群行為特徵中得到啟發並應用於求解優化問題。粒子群演算法的核心思想是：首先在可行解空間中初始化一群粒子，每個粒子用位置、速度和適應度值三項指標來表示該粒子的特徵，且每個粒子都代表問題的乙個潛在最優解。在搜尋過程中，採用適應度函式計算每個粒子所在位置的適應度值；適應度值的好壞代表著粒子的優劣，好的粒子位置將被記憶。每個粒子通過跟蹤自身記憶的個體最優位置和種群記憶的全域性最優位置，逐漸逼近更優的位置。粒子每更新一次位置，就計算一次適應度值，來更新個體最優位置和群體的全域性最優位置。隨著迭代次數的增加，各粒子越來越相似，最終收斂於問題的最優解或次優解。
相比於前面的遺傳演算法，粒子群演算法沒有應用複雜的編碼技術和諸如交叉、變異等遺傳操作，僅僅是在解空間追隨最優的粒子進行搜尋。其原理更為簡單，需要調節的引數也更少，計算效率也相對更高。
粒子群演算法引數優化的主要過程如下：
模擬退火演算法是基於物理中固體物質的退火降溫過程，與一般組合問題的相似性所提出的一類通用的優化演算法。模擬退火演算法的核心思想是：通過模擬高溫物體退火過程，找到優化問題的全域性最優或近似全域性最優解。該演算法首先產生乙個初始解作為當前解，然後在當前解的領域中，以概率
1接受更優解，以概率
接受更劣解。這就意味著隨著優化過程的不斷迭代，目標函式偶爾向不利的方向發展，從而保證不會陷入區域性最優。隨著引數t的調整，
越來越低，最終演算法以概率1穩定在全域性最小或近似全域性最小的區域。
該演算法的核心演算法是metropolis抽樣演算法，其基本演算法如下：
假定目標函式為，則當前解的目標函式值為，經過當前解的變換得到的新解的目標函式值為，，那麼metropolis抽樣概率為：
也就是說以概率1接受更優解，以概率接受更劣解。
模擬退火演算法的主要過程如下：
此外模擬退火演算法的
metropolis抽樣準則常常用於遺傳演算法或粒子群演算法，來防止陷入區域性最優解。
機器學習部分 邏輯回歸的優化
有無截距 對於邏輯回歸分類，就是找到z那條直線，不通過原點有截距的直線與通過原點的直線相比，有截距更能將資料分類的徹底。線性不可分問題 對於線性不可分問題，可以使用公升高維度的方式轉換成線性可分問題。低維空間的非線性問題在高維空間往往會成為線性問題。調整分類閾值 在一些特定的場景下，如果按照邏輯回歸...
深度學習部分總結
深度學習是學習樣本資料的內在規律和表示層次，這些學習過程中獲得的資訊對諸如文字，影象和聲音等資料的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字 影象和聲音等資料。深度學習是乙個複雜的機器學習演算法，在語音和影象識別方面取得的效果，遠遠超過先前相關技術。接收讀取資料...
機器學習部分 有監督學習和無監督學習
機器學習的常用方法，主要分為有監督學習 supervised learning 和無監督學習 unsupervised learning 監督學習，就是人們常說的分類，通過已有的訓練樣本 即已知資料以及其對應的輸出 去訓練得到乙個最優模型 這個模型屬於某個函式的集合，最優則表示在某個評價準則下是最佳...