本文提出了一種新的智慧型取樣框架，旨在解決大規模優化問題，即具有多目標、高維設計空間和非線性/非凸約束的工程應用。 並在三個例子中證明了該框架的能力。
自適應取樣方法目的是減少優化過程中總的訓練樣本數。
智慧型取樣框架包括以下四個方面：
先進的**建模技術，能夠用資料相對有限的高維輸入變數逼近非線性目標函式
用於多目標應用的基於超體積的ei函式的有效數值方法
在設計空間上尋找具有高ei值的候選取樣點的優化演算法
處理非線性和非凸約束的方法，包括懲罰的ei公式和基於神經網路的分類模型，以識別可行區域。
其中ei帕累託前沿由於新選擇的取樣點而潛在改善的定量度量。 超體積度量(hv, hypervolume metric)是ei的一種流行公式，它直接測量現有帕累託前沿和估計的新帕累託前沿之間的體積。
這部分介紹了ge的內部智慧型取樣框架，稱為「bhm/idace」（貝葉斯混合建模/計算機實驗的智慧型設計和分析），該框架是基於上面中描述的一般框架開發的。 bhm/idace包含四個主要元件：**建模、多目標ei函式的快速計算、設計空間上ei函式的優化以及約束的處理。
4.1**模型
**模型是bhm/idace框架中最重要的組成部分，因為**模型的**決定了選擇下一組取樣點的位置。 在常用的**建模技術中，如徑向基函式(rbf)、人工神經網路(ann)和多項式混沌擴充套件(pce)、高斯過程(gp，也稱為kriging)**模型能夠用相對稀疏的訓練資料精確地逼近高度非線性響應，如許多應用所示。 此外，gp模型還提供了設計空間中任意點的**均值和**不確定性，證明了該模型在計算ei時是方便的。 在這裡，我們使用了乙個名為貝葉斯混合建模(bhm)的ge內部工具，它是乙個不確定性量化框架，提供了許多有用的概率和統計分析能力，包括模型校準、**建模、全域性靈敏度分析、差異建模和**。 bhm通過基於貝葉斯定理和馬爾可夫鏈蒙特卡羅(mcmc)抽樣方法估計係數來構造gp模型。
4.2ei函式
本文採用了基於超體積（hypervolume）的ei方法。
一維情況下的計算公式為：
基於hv計算加入目標值為f的改進度i(f)計算公式為：
使用改進度i(f)後的ei(f)計算公式
為了保證稀疏行，即解的多樣性，文章在原ei的基礎上加了乙個p1,盡量使新加的點f離原集合中的點有一定距離。
4.3處理約束
本文使用了兩個方法處理約束。
第一種：
建立**模型來**目標和約束。 然後使用**的約束值來懲罰預期的改進函式。 由於我們使用高斯過程**模型，**約束函式中的不確定性用高斯分布表示，這可以用來計算doe點是可行的或不可行的概率。 對於本研究中證明的數值例子，我們採用了下面中所示的懲罰函式公式。
其中λ是乙個縮放引數，用於避免過度或不受懲罰。
第二種:
考慮人工神經網路分類器。在某些情況下，約束函式可以嵌入到黑匣子型別的模擬**中，模擬返回一些基於可行性的懲罰值，甚至返回二進位制輸出（可行或不可行）。 由於懲罰值的不連續性，第一種方法可能不適用於這種情況。 因此，我們不直接使用**模型逼近和**約束函式，而是使用基於分類的方法來識別可行區域，並**設計點是否可行。 分類是乙個有監督的機器學習問題，分類器模型具有分類輸出，通常用於標記資料集的類別。 在這裡，我們考慮人工神經網路分類器，已經證明，如果有足夠的資料，它能夠逼近高維輸入空間中的高度非線性決策邊界。
第乙個：無約束問題 fonseca and fleming function
問題如下：
隨機生成50000個點
其中紅色的為真實的pareto前沿，藍色為生成的點
選擇前兩維度進行視覺化
其中，紅點為最優解集。
使用智慧型取樣後的解
對比ga-moop演算法，idace降低錯誤率的評估次數明顯更少。
第二個：帶約束的多目標優化問題 osyczka and kundu function
第三個：乙個工程設計優化問題
本文提出了乙個智慧型取樣框架bhm/idace來解決高維設計空間中的多目標優化問題，無論有無約束。
該框架是基於貝葉斯優化的概念開發的，其中**模型**中的不確定性是用貝葉斯推理來量化的，並用於實現勘探和開發之間的權衡。 該框架具有四個組成部分：
（1）貝葉斯gp**建模技術，該技術能夠用相對較小的訓練資料集逼近高維空間中的非線性響應函式和相關不確定性；
（2）基於超體積的期望改進(ei)公式和有效的數值實現；
（3）全域性優化器，以最大限度地利用ei函式；
（4）使用公式或神經網路進行約束處理。
通過兩個數學例子和乙個實際的工程設計優化問題，證明了bhm/idace的能力，與傳統的moga（多目標遺傳演算法）方法相比，bhm/idace可以實現訓練資料集的80%-90%的減少。
二維空間中的聲線模擬
感覺這個挺有意思的就做了一下，雖然是和虛擬實境沾邊的東西，但說不定以後在資料探勘上也能用來給資料在不同屬性上分類什麼的。做了個最簡單的 模擬聲音在理想二維空間中的反射，而且假設二維空間是封閉的矩形區域，其中可能有若干的垂直或者水平的牆，將空間分割為若干的子空間，空間中有乙個聲源和乙個接收點。聲源向四...
二維空間中的聲線反射模擬
感覺這個挺有意思的就做了一下，雖然是和虛擬實境沾邊的東西，但說不定以後在資料探勘上也能用來給資料在不同屬性上分類什麼的。做了個最簡單的 模擬聲音在理想二維空間中的反射，而且假設二維空間是封閉的矩形區域，其中可能有若干的垂直或者水平的牆，將空間分割為若干的子空間，空間中有乙個聲源和乙個接收點。聲源向四...
三維空間中剛體的旋轉
從零開始一起學習slam 三維空間剛體的旋轉 剛體 本身不會在運動過程中產生形變的物體，運動過程中同乙個向量的長度和夾角都不會發生變化。剛體變換也稱歐式變換。1 是重點！2 旋轉矩陣不是一般矩陣，它有比較強的約束條件。旋轉矩陣r具有正交性，r和r的轉置的乘積是單位陣，且行列式值為1。3 旋轉矩陣r的...