遷移學習知識
機器學習的重要目標是從資料中學習模型,資料實際上是有分布的,關於特徵x和標籤y的聯合分布。目標域的期望風險可以被訓練資料的經驗風險和sample capacity界定。
遷移學習source domain分布p 和td 分布q不一樣,在大規模資料上預訓練的模型能夠有乙個比較好的遷移能力,但這往往只是乙個相對經驗性的結果,
從分布的匹配角度說,遷移學習的根本問題是如何將兩個domain中,分布進行適配。不容易,因為資料的分布非常的複雜。遷移學習中有乙個主流的方法叫做對抗學習。通過confuse判別器,判別器分不開,就認為這兩個分布是近似的。但gan網路的很多研究成果告訴我們得到的分布並不是乙個非常好的匹配。需要考慮更多的資訊,比如正則化的方法,conditional方法,才能使得分布匹配得比較好。換句話說,如果我們只考慮邊緣分布匹配,這對遷移學習實際上來說是不夠的。另外一模擬較經典的kernel embedding方法,叫做非引數化的方法。這類方法在深度學習出來之前,用核方法非引數的方法來定義一些領域之間差異的度量,這種度量通常叫做統計距離。使得統計距離最小的時候得到的特徵就是乙個比較好的特徵。兩類方法
前面的工作是from 演算法的角度。那麼人們往往會想怎麼樣將演算法的角度和理論的角度做brige,融合。首先考慮前面提出的方法是不是有理論保證的。source risk,target risk就是在q上的期望風險,定義兩個分歧度,s disparity和t disparity度量的是給定任意兩個假設g和g』,在source上不一致的概率。如果能找到乙個假設控制s和t的分歧度,就可以利用這個假設來brige,將s和t的期望關聯起來。
遷移學習中基本的假設
將s和t risk關聯起來。三角不等式公式18。只要考慮g和最好的g*的分歧度,就能將s和t risk聯絡到一起,再做一些簡單的放縮。t risk可以被s risk以及第二項理論假設誤差,加上s 分歧度與t上的分歧度。 我們通常會假設方括號裡面的這一項是比較小的。目標是去界定第三項,定義為分布差異。兩種方法界定。一,hh divergence經典。
遍歷g和g』,就界定了目標的風險。因為公式中的g是不知道的,假設中存在的,既然不知道就不能去優化它。但是一旦找到了上界,這個g和g』就是假設空間中的任意乙個假設,不一定是最好的乙個,當然可以找到乙個優化演算法在假設空間中做搜尋, 簡化。我們發現這樣做有點浪費。只關心g,不需要求g上界,g是分類器,可以通過s domain來學習它。微小的變化帶來了效能上的變化。為什麼我們要從理論上去分析這件事情。
用dd代替對稱差divergence,對稱差d存在了快十年了。dd可以被領域判別器界定。領域判別器輸入是f和g,cdan模型的風險能被dd界定住。大家經常不敢用分類器的輸出來做,為什麼呢,審稿人會說這是個pseudo label,沒***。但是我們這個工作證明了,當用的不是pseudo label,而是g,不用argmax,這個時候它是可以被界定住的。不奇怪,半監督學習領域,我們提出會給分類器加上各種正則化,並沒有對pseudo label加正則化,對分類器的函式加正則化。在這種情況下,分類器的**值是可以被使用的,這可能是之前的乙個誤區。
新的工作,前面先找乙個演算法再找理論保證。這叫倒著打。現在需要正著打,需要理論分析推導,然後再去最好的遷移學習模型應該是什麼樣的。更informative的間隔理論。實際要處理的是多分類的問題,同時使用乙個記分函式,損失函式margin loss或者交叉熵函式之前tl 理論0-1損失函式,沒有辦法解釋我們現在常用的損失函式的。也沒有辦法使用常見的模型,引入 scoring fun,定義margin公式2本頁。如果**是錯誤的y』不等於y,找到錯誤的label中最大的**值,最大的logit,用它來定義乙個margin loss。
結合二者就會得到,加強版的dd,仍然考慮對g』取上限,不考慮g。如果考慮g,會在非常大的空間上做遍歷,非常強不容易做。
推導了遷移學習的泛化誤差界,使用的是rademacher complexity。公式17,使用margin loss 和scoring fun算出來的,跟常見的模型是一致的。有趣的結果,泛化誤差和margin是成反比的,margin比較大的時候泛化誤差是比較好的。和經典的間隔理論是一致的。
基於理論提出新 模型公式19,找到g使得經驗風險和dd達到最小。同時g』使得達到最大。做了evaluation。
在()資料上取得了74.6的成績。
2019暑假集訓 金明的預算方案
金明今天很開心,家裡購置的新房就要領鑰匙了,新房裡有一間金明自己專用的很寬敞的房間。更讓他高興的是,媽媽昨天對他說 你的房間需要購買哪些物品,怎麼布置,你說了算,只要不超過nn元錢就行 今天一早,金明就開始做預算了,他把想買的物品分為兩類 主件與附件,附件是從屬於某個主件的,下表就是一些主件與附件的...
蘇姿丰 AMD Zen4銳龍 EPYC處理器明年見
在今天上午 6月1日 結束的台北電腦展專場活動中,a ceo蘇姿丰博士再度程式設計客棧確認,基於5nm zen4架構的銳龍 ep程式設計客棧yc霄龍處理器將於明年登場。至於下半年,實際上zen3家族的拼圖fcgky還有待完善,包括8月5日面向diy零售市場開賣的銳龍7 5700g和銳龍5 5600g...
匯明A 牆布受邀參加2023年世界牆紙牆布大會
2019 年 11 月 15 日,世界牆紙牆布大會在中國輕紡城國際會展中心盛大召開。參事室 紹興市人民 領導 國際行業大咖及各優秀牆紙牆布unchs企業共聚一堂,共同見證了這一世界級的盛會。在紹興市副市長邵全卯的精彩致辭後,大會正式拉開序幕。會議一開始,中國人民大學國際關係學院副院長金燦榮先生 參事...