首先，生活上我們遇到更多的是小資料，而在小資料上學習的模型，才是真正的智慧型。
第二，我們希望構建的系統不僅在那個領域能夠發揮作用，在其周邊也可以發揮作用。即我們希望系統是可靠的，其可以舉一反三和融會貫通，這也是我們賦予智慧型的一種定義。
第三，我們希望更重要的是如何能夠把乙個通用的系統加上個人的小資料，而遷移到個人的場景當中去，因此我們可以向個性化方向發展。遷移學習就是乙個必不可少的工具。
但遷移學習為什麼如此難以實現？因為即使是人類也很難發現這些共同點。
半監督學習
遷移學習力圖最大效率地使用某些任務或者域中的無標籤資料。這也是半監督學習所恪守的準則，半監督學習遵循經典機器學習的設定，但是它僅僅採用有限數量的標籤資料來訓練。如此，半監督域適應本質上就是在域變化的情況下進行半監督學習。許多來自於半監督學習的教訓和思想同樣地適用於遷移學習。文獻 [31] 是乙個很不錯的關於半監督學習的綜述。
更有效地使用可用的資料
另外乙個與遷移學習和半監督學習相關的方向是讓模型在有限數量的資料上執行得更好。
這個可以用幾種方式實現：你可以使用無監督學習或者半監督學習從無標籤資料中抽取資訊，以減少對有標籤樣本的依賴；你可以允許模型能夠獲取一些資料的固有屬性，同時減輕正則化過程中的過擬合傾向；最後，你還可以使用至今仍然被忽視或者位於不明顯的地方的一些資料。
作為使用者生成內容的意外結果，這種巧合的資料 [32] 可能會被建立，例如能夠提公升命名實體和詞性標註的超連結；它也可能作為注釋的副產品存在，例如注釋器不一致（annotator disagreement) 可能改進標註或者解析；或者**於使用者行為的資料，例如視線追蹤或者鍵入變化，可以影響自然語言處理的任務。雖然這些資料只是以有限的方式被利用，但是這樣的例子鼓勵我們在意外的地方查詢資料，並研究檢索資料的新方法。
提高模型的泛化能力
讓模型更好地泛化也是與此相關的乙個方向。為了實現更好的泛化能力，我們首先必須理解大規模神經網路的行為和錯綜複雜的結構，並且去研究它們泛化的原因和方式。最近的工作已經朝著這個目標邁出了大有希望的步伐 [33]，但是很多問題仍然等待解答。
讓模型更加穩健（robust)
儘管提公升我們的模型的泛化能力這方面已經比較成功了，在類似的例子上面我們也許泛化得很好，但是在出乎意料或者者非典型的輸入情況下仍然會失敗。所以，乙個關鍵的補充目標就是讓我們的模型更加穩健。在近來對抗學習的進步的推動下，這個方向越來越受關注，並且，最近的方法研究了很多讓模型在最糟糕的情況下或者面對不同設定的對抗樣本時變得更加穩健的方式 [34,35]。
多工學習
在遷移學習中，我們主要關心在我們的目標任務和域上友好的表現。相反，多工學習中的目標是在所有可用的任務上都要表現良好，儘管某個標籤資料通常都被假定在乙個任務上。雖然多工學習的方法沒有直接用在遷移學習上，但是對多工學習有利的關於任務的思想 [19] 仍然能夠指引遷移學習的決策。
持續學習
雖然多工學習允許我們在許多任務中保留知識，而不會對我們的源任務造成效能損失，但只有在所有任務都處於訓練時間的情況下，這才是可能的。對於每個新任務，我們通常需要重新訓練我們所有任務的模型。
然而，在現實世界中，我們希望乙個**能夠通過使用它以往的一些經驗來處理逐漸變得複雜的任務。為了達到這個目的，我們需要讓乙個模型在不忘記的情況下持續地學習。這個機器學習的領域被稱為學會學習 [36]、元學習、終生學習，或者持續學習。持續學習在最近的強化學習 (強化學習以 google deepmind 對通用學習**的探索而著稱) 上已經取得了成功 [37,38,39]，也正在被用於序列到序列的模型上 [40]。
zero-shot 學習
最後，如果我們把遷移學習使用到極限，並且想要僅僅從很少的（乙個，甚至 0 個）例項中學習，這就分別得到了 few-shot、one-shot 以及 zero-shot 學習。讓模型執行 one-shot 和 zero-shot 學習，無疑屬於機器學習中最艱難的問題。而另一方面，這卻是我們人類天生就會的：幼年的時候，為了讓我們能夠認出任何狗狗，我們僅僅需要被告知一次「這是一條狗」，然而成年人可以僅通過在文中閱讀就理解乙個東西的本質，不需要事先見過它。
one-shot 學習的新進展利用了這樣的思想，即為了在測試的時候實現好的效能，模型需要顯式地被訓練，從而進行 one-shot 學習 [41,42]。但更加逼真、具有概括性的 zero-shot 學習設定在最近已經引起了注意，在零點學習中訓練類別出現在測試的時候 [43]。
總結總之，遷移學習提供了很多令人興奮的研究方向，特別是許多應用需要能夠將知識遷移到新的任務和域中的模型。希望我在這篇部落格中為你們給出了關於遷移學習的概述並且激發了你們的興趣。
深度學習11 為什麼需要遷移學習？ 遷移學習簡介
使用深度學習技術解決問題的過程中，最常見的障礙在於，因為模型有大量的引數需要訓練，因此需要海量訓練資料作支撐。在面對某一領域的具體問題時，通常可能無法得到構建模型所需規模的資料。借助遷移學習，在乙個模型訓練任務中針對某種型別資料獲得的關係也可以輕鬆地應用於同一領域的不同問題。遷移學習的應用是近低於有...
我們為什麼需要睡眠
隨著時光的消逝，你是否發覺眼角的皺紋逐漸加深？變得越來越粗糙黯淡？記憶力也開始衰退？這個時候很多人都會感慨 時光易逝，容顏易老 並且開始習慣接受自己已慢慢變老，提前加入老人的行列。其實，這一切也許只是因為你長時間睡眠不足造成的。如果能夠早些了解這些常識，並引起足夠重視，你的青春也許還能保留十年。睡眠...
我們為什麼需要睡眠
隨著時光的消逝，你是否發覺眼角的皺紋逐漸加深？變得越來越粗糙黯淡？記憶力也開始衰退？這個時候很多人都會感慨 時光易逝，容顏易老 並且開始習慣接受自己已慢慢變老，提前加入老人的行列。其實，這一切也許只是因為你長時間睡眠不足造成的。如果能夠早些了解這些常識，並引起足夠重視，你的青春也許還能保留十年。睡眠...