之前談到了遷移學習和自我學習（可以看這裡），今天會系統整理一下與遷移學習相互關聯的幾個概念。
遷移學習的目標是將從乙個環境中學到的知識用來幫助新環境中的學習任務。用一句不正式的語言來定義，則是說，當教會了d電腦學習區分大象和犀牛的能力後，電腦利用這一本領更快或更準確地來學習如何區分飛機和鳥。因為人具有知識遷移的能力（所謂溫故而知新），當我們學會了一項本領後，再去學習另外一項相關的本領就會容易很多。而遷移學習便是模仿人類的這一能力。當然，這是不正式的描述，正式的定義如下：
從以上定義可以看出，遷移學習是乙個很大的概念。定義中domain的不一樣可以表現在feature space的不一樣，或者表現在feature的distribution不一樣；而task的不一樣可以表現在特徵對應的label space不一樣，或者是feature到label的**函式不同；如果domain和task都一樣，這就是傳統的機器學習問題；以前我總理解domain不一樣叫transfer learning，其實同乙個domain下不同的task也算transfer learning。
另外，可以看出遷移學習的問題中，兩個domain必須是相關的。當兩個domain不相關時，強加transfer learning反而有可能降低target domain的效能，這叫negative transfer，是應該避免的。
與遷移學習十分相似的概念包括自我學習、多工學習、domain adaption（我也不知道咋翻譯）、半監督學習、非監督學習。這些概念有些事遷移學習的特例，有些與遷移學習的任務十分相似但是略有不同。
從正式的定義中可以看出，遷移學習和半監督學習很相似，都是利用部分已標註樣本和部分無標註樣本共同進行學習。然而不同之處在於半監督學習假設已標註樣本和未標註樣本必須來自同一分布，換而言之，它們描述同一事物；而遷移學習允許已標註的樣本來自不同分布，降低了這一限制。
多工學習同時學習多個不同的任務。而遷移學習更加注重從乙個或多個source tasks中提取知識，並應用在另乙個target task中。不同於多工學習中，同時對兩個task進行學習，遷移學習的關注點在於target task。
當source和target tasks相同，而source和target domain不相同時，把這類任務細分為transductive transfer learning。而當domain的不相同限制為feature space相同，而feature的概率分布不相同時，把這類情況叫做domain adaption。
已經在中提到過了。
最後，偷乙個圖作為總結：
WWW相關概念的學習
1 www定義 www world wide web，全球資訊網 是儲存在internet計算機中 數量巨大的文件的集合。文件也稱頁面 網頁 它是一種超文字資訊，可以用來描述超 web上的資訊是由彼此關聯的文件組成，而聯絡它們的方式就是超連結。2 超文字 超文字是超級文字的簡稱，它是一種通過超連結的...
機器學習 相關概念
一開始我是自學的機器學習的相關知識，因為要參加比賽，有點急於求成，網上到處找教程，學了很多，也了解了很多演算法，但是脈絡沒搞清楚，後面也越來越沒有信心 機器學習有很多相關的概念，我覺得在準備深入學習這些東西之前一定要把概念層次弄清楚，要不然很容易陷入誤區，所以在這裡把一些相關的概念和脈絡理一下 1....
機器學習相關概念
機器學習相關概念 定義 t e p 機器學習分類 有監督學習 回歸 regression linear regression 分類 classification 判別模型 bayes公式 先驗概率,似然函式,證據,後驗概率 beta分布 概率的概率分布 生成模型 聯合概率 邊緣概率 距離說明什麼是判...