原文：
1什麼是遷移學習？
神經網路需要用資料來訓練，它從資料中獲得資訊，進而把它們轉換成相應的權重。這些權重能夠被提取出來，遷移到其他的神經網路中，我們「遷移」了這些學來的特徵，就不需要從零開始訓練乙個神經網路了。
2. 什麼是預訓練模型？
簡單來說，預訓練模型(pre-trained model)是前人為了解決類似問題所創造出來的模型。你在解決問題的時候，不用從零開始訓練乙個新模型，可以從在類似問題中訓練過的模型入手。
比如說，如果你想做一輛自動駕駛汽車，可以花數年時間從零開始構建乙個效能優良的影象識別演算法，也可以從google在imagenet資料集上訓練得到的inception model(乙個預訓練模型)起步，來識別影象。
乙個預訓練模型可能對於你的應用中並不是100%的準確對口，但是它可以為你節省大量功夫。
3. 怎樣使用預訓練模型？
當在訓練經網路的時候我們的目標是什麼？我們希望網路能夠在多次正向反向迭代的過程中，找到合適的權重。
通過使用之前在大資料集上經過訓練的預訓練模型，我們可以直接使用相應的結構和權重，將它們應用到我們正在面對的問題上。這被稱作是「遷移學習」，即將預訓練的模型「遷移」到我們正在應對的特定問題中。
在選擇預訓練模型的時候你需要非常仔細，如果你的問題與預訓練模型訓練情景下有很大的出入，那麼模型所得到的**結果將會非常不準確。
既然預訓練模型已經訓練得很好，我們就不會在短時間內去修改過多的權重，在遷移學習中用到它的時候，往往只是進行微調(fine tune)。
在修改模型的過程中，我們通過會採用比一般訓練模型更低的學習速率。
4.微調模型的方法
特徵提取
我們可以將預訓練模型當做特徵提取裝置來使用。具體的做法是，將輸出層去掉，然後將剩下的整個網路當做乙個固定的特徵提取機，從而應用到新的資料集中。
採用預訓練模型的結構
我們還可以採用預訓練模型的結構，但先將所有的權重隨機化，然後依據自己的資料集進行訓練。
訓練特定層，凍結其他層
另一種使用預訓練模型的方法是對它進行部分的訓練。具體的做法是，將模型起始的一些層的權重保持不變，重新訓練後面的層，得到新的權重。在這個過程中，我們可以多次進行嘗試，從而能夠依據結果找到frozen layers和retrain layers之間的最佳搭配。
如何使用與訓練模型，是由資料集大小和新舊資料集(預訓練的資料集和我們要解決的資料集)之間資料的相似度來決定的。
下圖表展示了在各種情況下應該如何使用預訓練模型：
場景一：資料集小，資料相似度高(與pre-trained model的訓練資料相比而言)
在這種情況下，因為資料與預訓練模型的訓練資料相似度很高，因此我們不需要重新訓練模型。我們只需要將輸出層改制成符合問題情境下的結構就好。
我們使用預處理模型作為模式提取器。
比如說我們使用在imagenet上訓練的模型來辨認一組新**中的小貓小狗。在這裡，需要被辨認的與imagenet庫中的類似，但是我們的輸出結果中只需要兩項——貓或者狗。
在這個例子中，我們需要做的就是把dense layer和最終softmax layer的輸出從1000個類別改為2個類別。
場景二：資料集小，資料相似度不高
在這種情況下，我們可以凍結預訓練模型中的前k個層中的權重，然後重新訓練後面的n-k個層，當然最後一層也需要根據相應的輸出格式來進行修改。
因為資料的相似度不高，重新訓練的過程就變得非常關鍵。而新資料集大小的不足，則是通過凍結預訓練模型的前k層進行彌補。
場景三：資料集大，資料相似度不高
在這種情況下，因為我們有乙個很大的資料集，所以神經網路的訓練過程將會比較有效率。然而，因為實際資料與預訓練模型的訓練資料之間存在很大差異，採用預訓練模型將不會是一種高效的方式。
因此最好的方法還是將預處理模型中的權重全都初始化後在新資料集的基礎上重頭開始訓練。
場景四：資料集大，資料相似度高
這就是最理想的情況，採用預訓練模型會變得非常高效。最好的運用方式是保持模型原有的結構和初始權重不變，隨後在新資料集的基礎上重新訓練。
5. 在手寫數字識別中使用預訓練模型
現在，讓我們嘗試來用預訓練模型去解決乙個簡單的問題。
我曾經使用vgg16作為預訓練的模型結構，並把它應用到手寫數字識別上。
讓我們先來看看這個問題對應著之前四種場景中的哪一種。我們的訓練集(mnist)有大約60,000張左右的手寫數字，這樣的資料集顯然是偏小的。所以這個問題應該屬於場景一或場景二。
我們可以嘗試把兩種對應的方法都用一下，看看最終的效果。
只重新訓練輸出層 & dense layer
這裡我們採用vgg16作為特徵提取器。隨後這些特徵，會被傳遞到依據我們資料集訓練的denselayer上。輸出層同樣由與我們問題相對應的softmax層函式所取代。
在vgg16中，輸出層是乙個擁有1000個類別的softmax層。我們把這層去掉，換上一層只有10個類別的softmax層。我們只訓練這些層，然後就進行數字識別的嘗試。
凍結最初幾層網路的權重
這裡我們將會把vgg16網路的前8層進行凍結，然後對後面的網路重新進行訓練。這麼做是因為最初的幾層網路捕獲的是曲線、邊緣這種普遍的特徵，這跟我們的問題是相關的。我們想要保證這些權重不變，讓網路在學習過程中重點關注這個資料集特有的一些特徵，從而對後面的網路進行調整
VGG16學習筆記
vgg16 一 摘要 二 convnet的配置 所有隱藏層之後，都配有relu rectified linear uint 修正線性單元 vgg 16中的16指的是在這個網路中包含16個卷積層和全連線層。此外還有vgg 19，由於vgg 16和vgg 19的表現幾乎誤無差，且vgg 16的引數較vg...
VGG16遷移學習實現
vgg16遷移學習實現 本文討論遷移學習，它是乙個非常強大的深度學習技術，在不同領域有很多應用。動機很簡單，可以打個比方來解釋。假設想學習一種新的語言，比如西班牙語，那麼從已經掌握的另一種語言 比如英語 學起，可能是有用的。按照這種思路，計算機視覺研究人員通常使用預訓練 cnn 來生成新任務的表示，...
VGG16模型訓練自己資料集
vgg是由simonyan 和zisserman在文獻 very deep convolutional networks for large scale image recognition 中提出卷積神經網路模型，其名稱 於作者所在的牛津大學視覺幾何組 visual geometry group 的...