Online Meta Learning 摘要速覽

2021-10-03 16:44:47 字數 711 閱讀 1869

智慧型系統想要解決:之前訓練好的模型加速新任務的訓練,

有兩個正規化解決這個問題:

meta-learning把這個問題看作:訓練乙個模型,這個模型在新的任務會快速適應,

相反,online (regret based) learning把這個問題看作: 只訓練乙個模型,適應一系列的任務,

這篇文章將meta-learning和online learning結合,

提出follow the meta leader (ftml) 演算法,即拓展了model agnostic meta-learning (maml)演算法,

在三個大的不同的任務上的實驗評估顯著超越了傳統 online learning

兩個不同的研究流派研究之前的任務訓練好被後面的任務利用來訓練,meta-learning把這個問題當做

learning to learn,即之前的經驗用來作為乙個先驗的模型引數,相反,online learning將連續的幾個任務分開來,而目標是實現完全不訓練(zero-shot)就泛化

我們認為兩種流派都不是對於continual lifelong learning很理想,

meta-learning採用learning to learn但是忽略了問題的 連續的 和 非靜止的 方面,

online learning沒有考慮過去的經驗在新的任務上的加速效果,

我們提出 在乙個連續學習過程中 同時利用過去的經驗 並快速學習新的任務。

Manifold Mixup 摘要速覽

manifold mixup better representations by interpolating hidden states 深度學習善於擬合訓練資料,在測試資料分布稍有差異時,效果就不好,這種測試資料報括資料分布偏移,異類,對抗樣本,為解決這個問題,我們提出manifold mixup...

python摘要 python 摘要演算法

一 概述 摘要演算法主要特徵是加密過程不需要金鑰,並且加密的資料無法解密,只有輸入相同的明文資料經過相同的摘要演算法才能得到相同的密文。摘要演算法主要應用在 數字簽名 領域。接下來會講述rsa公司的md5演算法和sha 1演算法。二 原理 通過乙個函式,把任意長度的資料轉換成乙個長度固定的資料串 通...

訊息摘要演算法 數字摘要

為了保證檔案或值的安全性,因為使用訊息摘要生成的值是不可篡改的 特點 準備工作 string input 訊息摘要 string algorithm md5 public static void main string args throws exception 建立乙個訊息摘要物件messaged...