3 2 為超引數選擇合適的範圍

2022-05-28 07:15:15 字數 1824 閱讀 4388

為超引數選擇合適的範圍(

隨機取值可以提公升你的搜尋效率。但隨機取值並不是在有效範圍內的隨機均勻取值,而是選擇合適的標尺,用於**這些超引數,這很重要。

假設你要選取隱藏單元的數量$}$ ,假設,你選取的取值範圍是從 50 到 100 中某點,這種情況下,看到這條從 50-100 的數軸,你可以隨機在其取點,這是乙個搜尋特定超引數的很直觀的方式。或者,如果你要選取神經網路的層數,我們稱之為字母l你也許會選擇層數為 2 到 4 中的某個值,接著順著 2, 3, 4 隨機均勻取樣才比較合理,你還可以應用網格搜尋,你會覺得 2, 3, 4,這三個數值是合理的,這是在幾個在你考慮範圍內隨機均勻取值的例子,這些取值還蠻合理的,但對某些超引數而言不適用。

看看這個例子,假設你在搜尋超引數$\alpha$學習速率),假設你懷疑其值最小是 0.0001 或最大是 1。如果你畫一條從 0.0001 到 1 的數軸,沿其隨機均勻取值,那 90%的數值將會落在0.1 到 1 之間,結果就是,在 0.1 到 1 之間,應用了 90%的資源,而在 0.0001 到 0.1 之間,只有 10%的搜尋資源,這看上去不太對:

在python中r=-4*np.random.rand(),這行可以得出$r \in [4,0]$,那麼$\alpha$,所以最左邊的數字是$$,然後$\alpha$隨機取值,$\alpha }}}$。

更常見的情況是,如果你在$$和$$之間取值,在此例中,$$( 0.0001),你可以通過0.0001算出$$的值,即-4,在右邊的值是$$,你可以算出b的值1,即 0。你要做的就是在[a,b] 區間隨機均勻地給r取值,這個例子中$r \in [ - 4,0]$ ,然後你可以設定$\alpha$的值,基於隨機取樣的超引數$\alpha }}}$。

所以總結一下,在對數座標下取值,取最小值的對數就得到a的值,取最大值的對數就得到b值,所以現在你在對數軸上的$$到$$區間取值,在a,b間隨意均勻的選取r值,將超引數設定為$}}$,這就是在對數軸上取值的過程。

另乙個棘手的例子是給$\beta$取值,用於計算指數的加權平均值。 假設你認為$\beta$是 0.9到 0.999 之間的某個值,也許這就是你想搜尋的範圍。記住這一點,當計算指數的加權平均值時,取 0.9 就像在 10 個值中計算平均值,有點類似於計算 10 天的溫度平均值,而取 0.999就是在 1000 個值中取平均。

如果你想在 0.9 到 0.999 區間搜尋,那就不能用線性軸取值。要隨機均勻在此區間取值,所以考慮這個問題最好的方法就是,我們要**的是$1 - \beta $,此值在 0.1 到 0.001 區間內,所以我們會給$1 - \beta $取值,大概是從 0.1 到 0.001,應用之前幻燈片中介紹的方法,這是$}$,$}$。值得注意的是,在之前的幻燈片裡,我們把最小值寫在左邊,最大值寫在右邊,但在這裡,我們顛倒了大小。

$\beta$接近 1 時,所得結果的靈敏度會變化,即使$\beta$有微小的變化。所以$\beta$在 0.9 到 0.9005 之間取值,無關緊要,你的結果幾乎不會變化。但$\beta$值如果在 0.999 到 0.9995 之間,這會對你的演算法產生巨大影響。

根據公式$\frac}$,當$\beta$為0.999時,基於 1000 個值。而噹噹$\beta$為0.9995時,基於 2000 個值。

所以整個取值過程中,你需要更加密集地取值,在$\beta$接近 1 的區間內,或者說,當$1 - \beta $接近於 0時,這樣,你就可以更加有效的分布取樣點,更有效率的**可能的結果。

為MySQL選擇合適的備份方式

資料庫的備份是極其重要的事情。如果沒有備份,遇到下列情況就會抓狂 update or delete whitout where table was dropped accidentally innodb was corrupt entire datacenter loses power 從資料安全的...

為MySQL選擇合適的備份方式

資料庫的備份是極其重要的事情。如果沒有備份,遇到下列情況就會抓狂 update or delete whitout where table was dropped accidentally innodb was corrupt entire datacenter loses power 從資料安全的...

為超融合架構選擇合適的資料中心冷卻系統

雖然超融合基礎架構會帶來很多好處,比如精簡的it管理方法,但從資料中心散熱的角度來看,它也同時帶來了一些特殊的挑戰。當把超融合基礎架構的機器安裝到機櫃上的時候,會在密集的冷卻環境中製造出高熱量密度。保持散熱通道的暢通無阻非常重要,但是要保證正常的溫度下給予機器足夠的散熱風,還要讓熱量盡量遠離這些機器...