**中使用的bo演算法
小結如有錯誤，歡迎交流指正。
貝葉斯優化是一種十分有效的全域性優化演算法,目標是找到全域性最優解.貝葉斯優化有效地解決了序貫決策理論中經典的機器智慧型問題:根據對未知目標函式 f 獲取的資訊,找到下乙個評估位置,從而最快地達到最優解。實際上就是一種超引數優化方式。
出自**：貝葉斯優化方法和應用綜述
出自**：貝葉斯優化方法和應用綜述
貝葉斯優化框架主要包含兩個核心部分——概率**模型(probabilistic surrogate model)和採集函式 (acquisition function)。
概率**模型：使用概率模型**原始評估代價高昂的複雜目標函式。概率**模型根據模型的引數個數是否固定可分為引數模型和非引數模型。
相比引數固定的引數模型，非引數模型更加靈活，並且使用貝葉斯方法不易發生「過擬合」。
採集函式：根據後驗概率分布構造的，通過最大化採集函式來選擇下乙個最有「潛力」的評估點。
在求解目標函式最大值時，ucb 策略的採集函式為：當求解目標函式的最小值時，使用置信下界策 lcb：
引數 βt平衡了期望和方差。
湯普森取樣(thompson sampling,簡稱 ts)；本小節出自：
目的：模擬目標函式(黑盒優化)；
高斯過程背後的關鍵思想是可以使用無限維多變數高斯分布來對函式進行建模。神經網路和高斯過程之間有這樣乙個聯絡：存在無限多個隱層單元的神經網路等價於高斯過程。高斯過程是乙個隨機變數的集合，任意有限個隨機變數都滿足乙個聯合高斯分布。輸入空間中的每個點都與乙個隨機變數相關聯，而它們的聯合分布可以被作為多元高斯分布建模。輸入空間中的每個點都與乙個隨機變數相關聯，而它們的聯合分布可以被作為多元高斯分布建模。
例如乙個2維的高斯聯合分布：
3d的鐘形曲線，其中概率密度為其高度，若一次從圖中抽取兩點，反覆進行10次，並把第乙個值記錄在x=0，第二個值在x=1，然後在兩點間繪製線段。
擴充套件到20維：
曲線整體非常雜亂，但包含了許多有用的資訊，如何改變分布來獲得更好的樣本？
關鍵在於均值函式和協方差函式的選擇，均值決定整體趨勢，協方差決定平滑度。為了簡便,通常假設先驗均值函式為恆 0 函式，然後通過資料修正，修正後的後驗均值並不限制為0。因此,該假設對後驗準確性幾乎不影響。只有選擇合適的協方差函式才能保證得到理想的**效果。
**中：
均值函式：θtφ(x)，θ引數空間，φ(x):充電協議x(cc1、cc2、cc3)的d（d=224）維特徵向量投影空間，逼近k(xi,xj)=exp(y||xi-xj||2
2_2^2
22)得到；
協方差：方差是兩個不確定項的平方和**，這兩個不確定項假設是同方差的（也就是說，所有協議都是一致的）。 第一項是在訓練資料集中單個協議的重複執行中平均的經驗方差（與用於訓練早期**器的經驗方差相同），這解釋了由於製造等外生因素而產生的變異性。第二項是早期**的殘差方差的最大值，因為早期**不等待實驗完成。
採集函式選擇在週期壽命上的雜訊**分布具有高均值μ（鼓勵開發)和高方差σ2(鼓勵探索)的協議。 第k輪任何臂i（充電協議）的均值和上下置信界，由μk,i±βkσk,i給出。這兩個項的相對由勘探權衡超引數β>0控制。在k輪上的勘探權衡超引數βk被另乙個超引數ε∈(0,1]多次衰減，如βk=β0εk。
本出自：貝葉斯優化(bayesianoptimization)
1.黑盒優化，類似神經網路；
2.高斯過程擬合目標函式；
3.多種採集函式可選。
貝葉斯優化
比如我們已知函式y f x 那我們想知道f x 的最大值，x argmax 我們使用高斯過程gp作為 函式去 f x 根據一些已有的一些初始 xi,yi 去fit乙個gp 根據已有的高斯過程,隨機取樣m個點，對這m點可以使用上一步的gp去 每個點的mean和std,得到每個點處的高斯分布，根據acq...
貝葉斯優化引數
貝葉斯優化 貝葉斯優化用於機器學習調參由j.snoek 2012 提出，主要思想是，給定優化的目標函式 廣義的函式，只需指定輸入和輸出即可，無需知道內部結構以及數學性質 通過不斷地新增樣本點來更新目標函式的後驗分布 高斯過程,直到後驗分布基本貼合於真實分布。簡單的說，就是考慮了上一次引數的資訊 從而...
貝葉斯 01 初識貝葉斯
分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 分割線 最先知道貝葉斯公式還是四年前的概率論和數理統計課上，時間也很久了，具體內容早已經忘記，不過畢竟曾經學過，重新看過還是得心應手的。大概用兩三篇的內容來介紹一下貝葉斯，以及機器學習中很重要的一部分 樸...
