模擬退火演算法（simulated annealing，sa），2023年由 kirkpatrick 等人提出，並將其成功應用於組合優化問題。「退火」是物理學術語，指對物體加溫後再冷卻的過程。
模擬退火演算法源於晶體冷卻的過程，如果晶體不處於最低能量狀態，給固體加熱再冷卻，隨著溫度緩慢下降，固體中的原子按一定形狀排列，形成高密度、低能量的有規則晶體，在演算法中對應全域性最優解。
而如果溫度下降過快（則必然存在乙個引數控制溫度的公升降速度），可能導致原子缺少足夠的時間排列成晶體結構，結果產生了具有較高能量的非晶體，這就是區域性最優解。
模擬退火演算法包含 metropolis 演算法和退火過程兩部分。
metropolis 演算法是模擬退火演算法的基礎，但直接使用 metropolis 演算法可能會導致尋優的速度太慢，以至於無法實用。為了確保演算法在有限時間收斂，必須設定控制演算法收斂的引數。p=
{1,exp−e
(n+1
)−e(
n)t,
e(n+
1)n)e(
n+1)
≥e(n
) 上述公式中可調節的引數是控制退貨快慢的引數
t ：
凸優化 非凸優化
凸 convex vs 非凸的概念，數學定義就不寫了，介紹個直觀判斷乙個集合是否為convex的方法，如下圖 簡單的測試乙個集合是不是凸的，只要任意取集合中的倆個點並連線，如果說連線段完全被包含在此集合中，那麼這個集合就是凸集，例如左圖所示。凸優化有個非常重要的定理，即任何區域性最優解即為全域性最優...
超參尋優使用簡介
在機器學習裡，我們本質上是對損失函式進行最優化的過程。過程類似下面的曲面，演算法試圖去尋找損失曲面的全域性最小值，當然損失曲面實際中不一定是凸曲面，可能會更加凹凸不平，存在多個區域性高低點。我們還是回到主題，講述的重點在於超引數尋優的意義。當我們損失曲面給定的時候，我們尋找最優點的路徑可能會有一些模...
超參尋優使用介紹
在機器學習裡，我們本質上是對損失函式進行最優化的過程。過程類似下面的曲面，演算法試圖去尋找損失曲面的全域性最小值，當然損失曲面實際中不一定是凸曲面，可能會更加凹凸不平，存在多個區域性高低點。我們還是回到主題，講述的重點在於超引數尋優的意義。當我們損失曲面給定的時候，我們尋找最優點的路徑可能會有一些模...