遷移學習的核心問題是，找到新問題和原問題之間的相似性，才可以順利地實現知識的遷移。
遷移學習，是指利用資料、任務、或模型之間的相似性，將在舊領域學習過的模型，應用於新領域的一種學習過程。
遷移學習最權威的綜述文章是香港科技大學楊強教授團隊的a survey on transfer learning。
機器學習的目標是構建乙個盡可能通用的模型，使得這個模型對於不同使用者、不同裝置、不同環境、不同需求，都可以很好地進行滿足。這就是要盡可能地提高機器學習模型的泛化能力，使之適應不同的資料情形。
要理解負遷移，首先要理解什麼是遷移學習。遷移學習指的是，利用資料和領域之間存在的相似性關係，把之前學習到的知識，應用於新的未知領域。遷移學習的核心問題是，找到兩個領域的相似性。找到了這個相似性，就可以合理地利用，從而很好地完成遷移學習任務。
所以，如果這個相似性找的不合理，也就是說，兩個領域之間不存在相似性，或者基本不相似，那麼，就會大大損害遷移學習的效果。還是拿騎自行車來說，你要拿騎自行車的經驗來學習開汽車，這顯然是不太可能的。因為自行車和汽車之間基本不存在什麼相似性。所以，這個任務基本上完不成。這時候，我們可以說出現了負遷移(negative transfer)。
所以，產生負遷移的原因主要有：
負遷移給遷移學習的研究和應用帶來了負面影響。在實際應用中，找到合理的相似性，並且選擇或開發合理的遷移學習方法，能夠避免負遷移現象。
最新的研究成果
隨著研究的深入，已經有新的研究成果在逐漸克服負遷移的影響。楊強教授團隊2015在資料探勘領域頂級會議kdd上發表了傳遞遷移學習文章transitive transfer learning，提出了傳遞遷移學習的思想。傳統遷移學習就好比是踩著一塊石頭過河，傳遞遷移學習就好比是踩著連續的兩塊石頭。
更進一步，楊強教授團隊在2023年人工智慧領域頂級會議aaai上發表了遠領域遷移學習的文章distant domain transfer learning，可以用人臉來識別飛機！這就好比是踩著一連串石頭過河。
這些研究的意義在於，傳統遷移學習只有兩個領域足夠相似才可以完成，而當兩個領域不相似時，傳遞遷移學習卻可以利用處於這兩個領域之間的若干領域，將知識傳遞式的完成遷移。這個是很有意義的工作，可以視為解決負遷移的有效思想和方法。可以預見在未來會有更多的應用前景。
下圖對傳遞遷移學習給出了簡明的示意。
按目標域標籤分
這種分類方式最為直觀。模擬機器學習，按照目標領域有無標籤，遷移學習可以分為以下三個大類：
顯然，少標籤或無標籤的問題(半監督和無監督遷移學習)，是研究的熱點和難點。這也是本手冊重點關注的領域。
按學習方法分類
這是乙個很直觀的分類方式，按照資料、特徵、模型的機器學習邏輯進行區分，再加上不屬於這三者中的關係模式。
基於例項的遷移，簡單來說就是通過權重重用，對源域和目標域的樣例進行遷移。就是說直接對不同的樣本賦予不同權重，比如說相似的樣本，我就給它高權重，這樣我就完成了遷移，非常簡單非常非常直接。
基於特徵的遷移，就是更進一步對特徵進行變換。意思是說，假設源域和目標域的特徵原來不在乙個空間，或者說它們在原來那個空間上不相似，那我們就想辦法把它們變換到乙個空間裡面，那這些特徵不就相似了？這個思路也非常直接。這個方法是用得非常多的，一直在研究，目前是感覺是研究最熱的。
基於模型的遷移，就是說構建引數共享的模型。這個主要就是在神經網路裡面用的特別多，因為神經網路的結構可以直接進行遷移。比如說神經網路最經典的finetune就是模型引數遷移的很好的體現。
基於關係的遷移，這個方法用的比較少，這個主要就是說挖掘和利用關係進行模擬遷移。比如老師上課、學生聽課就可以模擬為公司開會的場景。這個就是一種關係的遷移。
目前最熱的就是基於特徵還有模型的遷移，然後基於例項的遷移方法和他們結合起來使用。
遷移學習方法是本手冊的重點。我們在後續的篇幅中介紹。
按特徵分類
按照特徵的屬性進行分類，也是一種常用的分類方法。這在最近的遷移學習綜述~\cite中給出。按照特徵屬性，遷移學習可以分為兩個大類：
找到相似性(不變數)，是進行遷移學習的核心。
有了這種相似性後，下一步工作就是，如何度量和利用這種相似性。度量工作的目標有兩點：一是很好地度量兩個領域的相似性，不僅定性地告訴我們它們是否相似，更定量地給出相似程度。二是以度量為準則，通過我們所要採用的學習手段，增大兩個領域之間的相似性，從而完成遷移學習。
學習筆記 01
在網上搜尋了一些資料，由於不知道哪些入門容易，所以先看看找到的資料，也對.net有個初步了解。將資料作了個整理 net framework 執行環境 visual studio net 開發工具 microsoft windows server 2003 企業伺服器 microsoft office...
遷移學習 入門筆記
背景 現如今資料 所以收集標籤資料和從頭開始構建乙個模型都是代價高昂的，需要對模型和帶有標籤的資料進行重用 傳統機器學習 假設資料服從相同分布，但我們希望針對不同分布的資料，快速構建模型，實現資料標記 遷移學習 transfer learning 通俗來講，就是運用已有的知識來學習新的知識，核心是找...
遷移學習 入門筆記
背景 現如今資料 所以收集標籤資料和從頭開始構建乙個模型都是代價高昂的，需要對模型和帶有標籤的資料進行重用 傳統機器學習 假設資料服從相同分布，但我們希望針對不同分布的資料，快速構建模型，實現資料標記 遷移學習 transfer learning 通俗來講，就是運用已有的知識來學習新的知識，核心是找...