舉乙個例子:
假設在原先的貓狗識別的任務裡有1,000,000張，而放射影像只有1,000張圖。
你可以把乙個用於貓狗識別的網路應用於放射科影像的任務上，而只需要改動輸出層前的最後一層的引數w[l]和b[l]。
即如果資料集較小，只需要重新訓練輸出層前的最後一層；但如果資料集較大，則需要訓練所有的引數。
什麼時候使用遷移學習？
1.能夠預先學習到很多資訊。即用乙個資料量很大的相關問題的訓練集可以有助於解決資料量較小的問題。
2.任務a的資料集應該多於b的資料集時，才能有所增益。
舉乙個例子：
在無人駕駛領域：行人0
車子1停止標牌
1指示燈
0和softmax進行多分類任務不同，一張圖可能擁有多個標籤（即同時存在多種物體）。
構成乙個（4,m）維的矩陣，其中4是標籤個數，m是樣本數。
損失函式如下：
可以看出，即使一些標籤沒有標記時，也可以拿來訓練。因為損失函式只對0/1標籤求和（而不計入？）
什麼時候使用多工學習？
1.訓練的一系列任務能夠從共享的低層次特徵中獲益。
2.通常你的各個任務中的大量資料是相似的。（比如你要獲取a100中1,000張的特徵，可以通過相似的a1-a99獲得額外的99,000張的加持。）
3.可以訓練乙個足夠大的神經網路來做好所有的工作，且比單獨完成各個任務的效果要更好。
（總體來說，多工學習的使用頻率低於遷移學習，主要應用於計算機視覺。）
即從流水線–>乙個龐大的網路（繞過了許多中間步驟）
上為傳統方法分解並逐步解決問題，下為端到端學習一步到位解決問題。
特點：端到端學習需要非常龐大的資料集支援，而傳統方法適用於小規模的資料集，且精度可能高於端到端學習。
pros:1.讓資料說話。
2.更少地手動設計所需要的元件
cons:1.可能需要很龐大的資料集。
2.會把潛在的有用的手工設計元件排除在外。
端到端學習
傳統的影象識別問題 將過程分解為預處理，特徵提取和選擇，分類器設計等若干步驟。優點 把複雜的問題分解為簡單 可控且清晰的若干小的子問題。缺點 儘管可以在子問題上得到最優解，但子問題上的最優解並不意味著就能得到全域性問題的最後解。深度學習影象識別 提供了一種端到端的學習正規化 整個學習的流程並不進行人...
多工學習
最近一段時間multitask網路比較流行，比如做人臉檢測的時候，乙個網路完成 人臉和非人臉 二分類任務的同時也要進行boudingbox回歸或者人臉關鍵點回歸。以人臉檢測mtcnn為例，乙個網路包含三個任務。訓練的時候，乙個batch中的，一部分用於二分類 一部分用於boundingbox 回歸，...
多工學習
以人臉特徵點定位中的tcdcn模型 1 為例子，該模型思想 通過一些多樣的精細的任務，來優化提公升特徵點定位精度。就是在人臉特徵點檢測的時候，同時進行多個任務的學習，這些子任務包括 是否帶眼鏡，是否微笑和臉部的朝向等分類任務。使用這些輔助的屬性不僅可以起到一次性獲取感興趣的屬性，更重要的是子任務更好...