日常處理資料過程中，我們會遇到新資料的增加這個問題，我們既想增加新資料，又想利用原先的模型，遷移學習和增量學習就應運而生了，而且在今後的發展中，此類問題會越來越頻發。
首先推薦幾篇部落格來**一下這個問題：1）xgboost之增量學習**遷移學習，增量學習增強學習、增量學習、遷移學習——概念性認知機器學習基礎--各種學習方式（30）--增量學習
增量學習與遷移學習最大的區別在於，增量僅僅是量的增加，遷移可能有質的改變。當然這也是有著量變到質變的可能性。
增量學習指的是單純的資料增加，在原模型的基礎之上進行訓練，在樹結構上的增量學習參考部落格1中說的比較詳細，這種方法適用於新的資料相較老的資料具有更高的可信度，同時老的資料比新的資料多的情況。
遷移學習指的是用已存有的知識對不同但相關領域問題進行求解的一種機器學習方法。通常遷移學習的資料集與原模型的資料集相差比較大，但是存在一些較深層次的聯絡。
其中非常常見的問題就是catastrophic forgetting問題，即災難性遺忘問題，就是指新資料對模型的影響太大，導致了原模型的失效，常見的就是過擬合了新資料，或者新資料把模型帶偏。這一點可以參考**
遷移學習實踐與理解
出於硬體條件以及資料集 的限制，我從一開始就想到了遷移學習的方法，利用已經訓練成熟的模型去做調整。遷移學習有很多方式，可以大致分為三種 利用模型結構 提取瓶頸特徵 bottleneck features 微調 fine tuning 利用模型結構 這個是最基礎的遷移學習，只利用別人的模型框架，所有權...
遷移學習 自我學習
最近在看ng的深度學習教程，看到self taught learning的時候，對一些概念感到很陌生。作為還清技術債的乙個環節，用半個下午的時間簡單搜了下幾個名詞，以後如果會用到的話再深入去看。監督學習在前一篇部落格中討論過了，這裡主要介紹下遷移學習 自我學習。因為監督學習需要大量訓練樣本為前提，同...
深度學習 遷移學習
遷移學習 把公共的資料集的知識遷移到自己的問題上，即將已經訓練好的模型的一部分知識 網路結構 直接應用到另乙個類似模型中去 小資料集 利用遷移學習，應用其他研究者建立的模型和引數，用少量的資料僅訓練最後自定義的softmax網路。從而能夠在小資料集上達到很好的效果。例如 imagenet 資料集，它...