目錄選擇，交叉，變異
假設前乙個狀態為\(x(n)\)，系統根據某一規則（比如梯度下降）使狀態變為\(x(n+1)\)時，系統的能量（通過損失函式算得）由\(e(n)\)變為e(n+1)，定義由\(x(n)\)到\(x(n+1)\)的狀態轉化的接受概率為：
\(p=\left\
1 & e(n+1)
從上式我們可以看到，如果能量減小了，那麼這種轉移就被接受（概率為1），如果能量增大了，則以一定的概率被接受，這使得演算法有了跳出區域性最優的機會
在上面的公式中，可以調節的引數就是t，t如果過小，就會導致退火太快，達到區域性最優值就會結束迭代，如果取值較大，則計算時間會增加，實際應用中採用退火溫度表，在退火初期採用較大的t值，隨著退火的進行，逐步降低
粒子僅具有兩個屬性：速度和位置，速度決定了粒子移動的方向和快慢。粒子群中的所有粒子根據自己找到的當前個體極值和整個粒子群共享的當前全域性最優解來調整自己的速度和位置。
初始化，選擇，分布估計，取樣產生新種群，選擇
這裡的分布估計就是根據選擇得到的優秀樣本，針對指定的分布模型進行極大似然估計。比如均勻分布模型只有乙個引數：『均值』，那麼只要統計樣本的均值，然後用引數確定的均勻分布來產生新樣本就行了。
優化方法 模擬退火法
模擬退火法是針對爬山法只能求出區域性最優解提出來的。模擬退火法其實也是一種貪心法，但是他搜尋最優解的過程中引入了隨機因素，允許在中間的計算過程中按照一定的概率來接受相對較差的中間結果，因此它有可能調出區域性最優解尋找到全域性的最優解。模擬退火法演算法描述 若j y i 1 j y i 即移動後得到更...
優化演算法（二）模擬退火演算法
import numpy as np 隨機確定變化的方向 def direction2 if np.random.random 0.5 return 1 return 1 隨機確定是否接受較差的解 def direction3 delta,t chance np.exp 1 delta t if n...
蟻群演算法 遺傳演算法 模擬退火演算法介紹
蟻群演算法 遺傳演算法 模擬退火演算法介紹 窮舉法 列舉所有可能,然後乙個個去,得到最優的結果。如圖一，需要從a點一直走到g點，才能知道，f是最高的 最優解 這種演算法得到的最優解肯定是最好的，但也是效率最低的。窮舉法雖然能得到最好的最優解，但效率是極其低下的。為了能提高效率，可以不要列舉所有的結果...