在遷移學習中,經常要計算不同域之間的分布距離,常用的方法如最大均值差異(maximum mean discrepancy):
其中,
分別表示源領域和目標領域的資料。
表示函式空間
上的乙個泛函,將資料從原歐氏空間對映到再生核希爾伯特空間(rkhs)。由於這個空間對於函式來說是內積完備的,更容易找乙個對映使得對映後的分布
。上面距離式子經過數學技巧可以化簡為:
其中 表示核函式。
因此,我們可以借助核函式,就能比較容易的計算源領域和目標領域的資料分布在再生核希爾伯特空間(rkhs)中的距離。
核方法本質是首先將資料對映到乙個無窮維空間(這種對映會保持某種度量不變,這種度量由所採用的kernel決定)。該方法可將低維空間的非線性可分問題,轉化為高維空間的線性可分問題。
設 是輸入空間 (
) ,又設希爾伯特空間
為特徵空間,如果存在乙個
到 的對映:
使得對所有
, 函式
滿足條件:
其中 表示內積,
表示核函式,
表示對映函式。
核技巧直接計算
,而不是單獨計算 。,
為多項式的次數
, 為高斯核的頻寬
, ,
為雙曲正切函式,
, 如果特徵數量很大,跟樣本數量差不多,往往資料在原空間的可分性就比較大。因此,可選擇線性核,極大較少計算量。
如果特徵數量少,而樣本數量不大。考慮使用非線性核如高斯核,將資料對映到無窮維可分的空間。
銅豌豆:核方法zhuanlan.zhihu.com
nlp小學生:核方法、核技巧和核函式zhuanlan.zhihu.com
tensorflow中常用的函式
正文 一,tensorflow中有一類在tensor的某一維度上求值的函式。如 求最大值 tf.reduce max input tensor,reduction indices none,keep dims false,name none 求平均值tf.reduce mean input tens...
numpy中常用的函式
詳細的random模組中的其他函式 np.random.rand 3,2 array 0.14022471,0.96360618 random 0.37601032,0.25528411 random 0.49313049,0.94909878 random np.random.randint 2,...
string中常用的函式
string中常用的函式 發現在string在處理這符串是很好用,就找了一篇文章放在這裡了.等,正式這些操作符,對字串操作非常方便 include include using namespace std int main 5 find函式 由於查詢是使用最為頻繁的功能之一,string 提供了非常豐...