遷移學習（transfer learning）
把已經訓練好的模型引數遷移到新的模型來幫助新模型訓練，從而加快並優化模型的學習效率，不用從零開始學習。
在傳統的機器學習的框架下，學習的任務就是在給定充分訓練資料的基礎上來學習乙個分類模型；然後利用這個學習到的模型來對測試文件進行分類與**。然而，我們看到機器學習演算法在當前的web挖掘研究中存在著乙個關鍵的問題：一些新出現的領域中的大量訓練資料非常難得到。我們看到web應用領域的發展非常快速。大量新的領域不斷湧現，從傳統的新聞，到網頁，到,再到部落格、播客等等。傳統的機器學習需要對每個領域都標定大量訓練資料，這將會耗費大量的人力與物力。而沒有大量的標註資料，會使得很多與學習相關研究與應用無法開展。其次，傳統的機器學習假設訓練資料與測試資料服從相同的資料分布。然而，在許多情況下，這種同分布假設並不滿足。通常可能發生的情況如訓練資料過期。這往往需要我們去重新標註大量的訓練資料以滿足我們訓練的需要，但標註新資料是非常昂貴的，需要大量的人力與物力。從另外乙個角度上看，如果我們有了大量的、在不同分布下的訓練資料，完全丟棄這些資料也是非常浪費的。如何合理的利用這些資料就是遷移學習主要解決的問題。遷移學習可以從現有的資料中遷移知識，用來幫助將來的學習。遷移學習（transfer learning）的目標是將從乙個環境中學到的知識用來幫助新環境中的學習任務。因此，遷移學習不會像傳統機器學習那樣作同分布假設。
我們在遷移學習方面的工作目前可以分為以下三個部分：同構空間下基於例項的遷移學習，同構空間下基於特徵的遷移學習與異構空間下的遷移學習。我們的研究指出，基於例項的遷移學習有更強的知識遷移能力，基於特徵的遷移學習具有更廣泛的知識遷移能力，而異構空間的遷移具有廣泛的學習與擴充套件能力。這幾種方法各有千秋。其後將介紹各種不同的遷移學習；摘自
部落格。
遷移學習 自我學習
最近在看ng的深度學習教程，看到self taught learning的時候，對一些概念感到很陌生。作為還清技術債的乙個環節，用半個下午的時間簡單搜了下幾個名詞，以後如果會用到的話再深入去看。監督學習在前一篇部落格中討論過了，這裡主要介紹下遷移學習 自我學習。因為監督學習需要大量訓練樣本為前提，同...
深度學習 遷移學習
遷移學習 把公共的資料集的知識遷移到自己的問題上，即將已經訓練好的模型的一部分知識 網路結構 直接應用到另乙個類似模型中去 小資料集 利用遷移學習，應用其他研究者建立的模型和引數，用少量的資料僅訓練最後自定義的softmax網路。從而能夠在小資料集上達到很好的效果。例如 imagenet 資料集，它...
遷移學習 domain adaption
一 概念 1 learning from scratch 即學乙個cnn網路with random initialization 2 在新的學習任務中，可以利用現有訓練好的imagenet網路提取特徵，去掉最後乙個分類的全連線層，在classifier層之前提取4096維的特徵，這些特徵稱為cnn ...