預訓練（pre-training/trained）和微調（fine tuning）這兩個詞經常在**中見到，今天主要按以下兩點來說明。
所以，預訓練就是指預先訓練的乙個模型或者指預先訓練模型的過程；微調就是指將預訓練過的模型作用於自己的資料集，並使引數適應自己資料集的過程。
在 cnn 領域中，實際上，很少人自己從頭訓練乙個 cnn 網路。主要原因是自己很小的概率會擁有足夠大的資料集，基本是幾百或者幾千張，不像 imagenet 有 120 萬張這樣的規模。擁有的資料集不夠大，而又想使用很好的模型的話，很容易會造成過擬合。
所以，一般的操作都是在乙個大型的資料集上（imagenet）訓練乙個模型，然後使用該模型作為類似任務的初始化或者特徵提取器。比如 vgg，inception 等模型都提供了自己的訓練引數，以便人們可以拿來微調。這樣既節省了時間和計算資源，又能很快的達到較好的效果。
[1]. what is pretraining in deep learning & how does it work?
[2]. cs231n: convolutional neural networks for visual recognition
YOLO 之理解預訓練和微調
問題描述 在閱讀yolo 的時候，總是出現預訓練 pretraining 以及微調 fine tuning 那麼問題來了 預訓練是什麼？為什麼要用預訓練？怎樣預訓練？微調是什麼？為什麼要用微調？怎樣微調？什麼是預訓練和微調？你需要搭建乙個網路模型來完成乙個特定的影象分類的任務。首先，你需要隨機初始化...
BERT的通俗理解 預訓練模型 微調
1 預訓練模型 bert是乙個預訓練的模型，那麼什麼是預訓練呢？舉例子進行簡單的介紹 假設已有a訓練集，先用a對網路進行預訓練，在a任務上學會網路引數，然後儲存以備後用，當來乙個新的任務b，採取相同的網路結構，網路引數初始化的時候可以載入a學習好的引數，其他的高層引數隨機初始化，之後用b任務的訓練資...
端到端語音翻譯中預訓練和微調的銜接方法
st speech translation，語音翻譯 asr automatic speech recognition，自動語音識別 mt machine translation，機器翻譯 tcen tandem connectionist encoding network,串聯編碼網路 摘要在端到...