核函式(或者叫協方差函式)是乙個有兩個輸入
高斯過程模型利用核函式來定義任意兩個函式值之間的先驗協方差
簡單來說,核函式是用來表明兩個變數(函式值)之間的相關性的,核函式也確定了在高斯過程先驗下函式的潛在結構(the generalization properties of the model)。
一些常見的核函式有平方指數(se)、週期(per)、線性(lin)核等,每乙個核函式對應了一種我們對模型的假設。比如使用se核函式表明模型具有無窮階可微,也就是函式的平滑性(smoothness)。
每個核函式具有一些超引數來刻畫核函式具體的形狀,比如se核函式中的
定義了核函式的「寬度」,即函式的平滑程度。
平穩與非平穩核函式:se和per核函式是平穩核函式,因為它們的值僅有兩個輸入的差
決定,這意味著我們如果同時移動所有輸入
的值(按照相同的方式),那麼得到的核函式的值是不變的,因為任意兩個輸入的差保持不變。
如果我們想表示的模型結構不在已有的核函式中,那麼我們可以設計乙個新的核函式來融入我們的先驗模型結構資訊。
一般主要有兩種形式的組合方式,加法組合和乘法組合。
先前提到的核函式都是一維的,具有多維輸入的核函式可以通過不同維度核函式之間的加法和乘法合成。
兩個正定核函式的乘積仍然是正定核函式。但是這個新的核函式擁有什麼性質呢?
多項式回歸:通過將
個線性核函式相乘,我們可以得到乙個自由度為
多項式先驗,比如上圖的第一列。
區域性週期函式:對於單變數資料,將乙個核函式乘以se核函式能夠將全域性結構轉化為區域性結構,比如週期核對應的是準確的週期結構,然而週期核乘以se核函式對應的則是區域性週期結構,比如上圖第二列。
幅度增加的函式:將乙個核函式乘以乙個線性核函式意味著函式的邊緣標準差隨著遠離超引數
的距離線性增長。
同理我們還可以將更多個核函式相乘來組合新的核函式,比如se乘以lin乘以per對應的函式先驗為區域性週期且幅度線性增加的。
乙個加性函式如果可以表示為
。對於高斯過程而言
則組合函式滿足
其中兩個核函式可以是不同型別的。
加性雜訊可以當做是疊加在訊號上的未知快變函式。這一結構可以當做乙個具有短的寬度的se核函式,寬度趨於零的se核函式為白雜訊核函式。
如果用於相加的核函式針對的是部分輸入維度,那麼這個函式先驗可以表示為
這也等價於
加性結構有時候更有利於外延,即在遠離訓練資料的點進行**。
可以看到,由於乘法模型更flexible,在對遠離訓練資料點的**具有較高的不確定性。
CUDA初始化與核函式
include include include define data size 1048576 int data data size void generatenumbers int number,int size bool init cuda int i for i 0 i count i if...
A7 DDR3的ip核建立與初始化
a7 ddr3的ip核建立與初始化 1 a7 ddr3的ip核建立 連續單擊next,直至generate,完成ip核的生產。2 建立pll,產生200mhz時鐘。直至完成,生產pll鎖相環時鐘。3 新建原始檔作為top層。4 例項化pll instantiate pll clk wiz 0 clk...
用API函式讀寫初始化檔案 ini 的方法
在易語言中讀寫初始化檔案 ini 的方法 易語言有讀寫配置項的命令,但api的更豐富。以前以為初始化檔案也和普通檔案的讀寫方法一樣,今天看了一下api for vb 的說明,才知道windows中已經有一套很簡便的讀寫方法了,想知道嗎?follow me 1.初始化檔案的格式 雙斜槓後面的是說明 a...