圖1.0 遷移學習
遷移學習是機器學習研究的課題,在機器學習中集中於依據習得的知識解決不同但相關的問題;即用已知去解決未知(相關);
(1) 使用模型結構,不利用模型權重,重新訓練資料,輸出訓練模型
圖1.2 僅利用模型結構重新訓練
當新的任務與現存的模型任務差距較大時,可借鑑模型結構,重新進行訓練,以達到較優的效果,如圖1.2中的電單車和腫瘤識別.
(2) 使用模型結構和模型權重,對整個模型的權重進行微調(fine-tuning),訓練資料,輸出訓練模型;
圖1.3 微調模型全部權重
若新任務是現存任務的公升級版,則可利用現有模型的結構和訓練好的模型,微調模型的全部權重,以達到新任務的需求;如提高物品的識別種類,因任務和分類任務相似,新任務只是提高了識別種類,從10類提高到100類,調節訓練權重即可.
(3) 使用模型結構和模型權重,根據需要對部分神經網路層權重進行微調,訓練資料,輸出訓練模型;
圖1.4 調節部分模型權重
如圖1.4所示,任務b在任務a的基礎上,將前兩層權重進行凍結(frozen)對後面的權重進行微調,即可達到效果.
圖1.5 調節最後一層凍結其他層
圖1.5中的識別語言分類中,即只調節最後一層網路,凍結其他層權重,因新任務和現有任務比較類似,且分類差別不大,僅調節最後一層即可.
待訓練資料集數量
任務相似度大高
小低將新任務與現有任務進行兩個維度拆分,即新任務資料集數量和兩個任務的相似度,進行組合,確定使用哪種遷移方法.
(1) 使用模型結構,不利用模型權重
大低:待訓練資料集數量大,任務相似度低;
新任務的資料集的資料量較多,現有模型實現的功能和新任務差異較大,則僅使用模型結構,重新訓練新任務模型,如對圖中的腫瘤圖形進行分類,重新訓練模型效果較好.
(2) 使用模型結構和模型權重,對整個模型的權重進行微調
小高:待訓練資料集數量小,任務相似度高;
新任務是現有任務的公升級,可考慮對全域性權重進行微調,由於資料集較少且要求都較為相似,則對整個模型微調較穩妥,如分類類別增加,從10類到100類.
(3) 使用模型結構和模型權重,根據需要對部分神經網路層權重進行微調
小高:待訓練資料集數量小,任務相似度高;
新任務資料集數量較小,且兩個任務相似度較高,則在特定層次進行微調模型,如輸入層和全連線的最終分類層,可獲得較好效果.
圖2.1 對抗學習原理
如圖2.1所示,對抗學習有兩個部分,生成網路(generator network)和識別網路(discriminator network);生成網路用於生成乙個"假"圖,鑑別網路是乙個二分類器,負責比較生成的"假"圖與實際影象的相似度,輸出比較結果,若為0,則兩張圖相似度為0%,若為1,則兩張圖相似度為100%.
圖2.2 gan分類過程
(1) 生成網路(generator network)
生成網路:通過隨機雜訊x
ix_i
xi和y
jy_j
yj在generator網路中生成乙個"假"圖(fake images)即fake ouput;
(2) 辨別網路(discriminator network)
辨別網路:將真實影象(real image)和生成的影象(fake output)在辨別網路中進行識別,類似於二分類網路,輸出辨識結果true或false;若為true則兩影象相似度較高,若為0則相似度較低;
[參考文獻]
[1][2]
[3]
人工智慧學習之路
1人工智慧基礎 高等數學必須會 資料分析 概率倫 gai lv lun 線性代數及矩陣 凸優化 tu you hua 微積分 wei ji feng 古典模型 逼近輪 牛頓法 梯度下降 python 高階應用 容器 容器淺拷貝和深拷貝 高階函式 lambda表示式 約瑟夫環問題 模組和高階包 時間庫...
人工智慧學習筆記
人工智慧並非專家系統，但是卻或多或少的與專家系統有關係，可以說專家系統是人工智慧很早期的存在形式。專家系統 es,expert system 是一種模擬人類專家解決領域問題的電腦程式系統。專家系統具有如下的一些特點 1 知識的匯聚 2 啟發性推理 3 推理和解釋的透明性 4 知識的更新 典型的專家系...
如何學習人工智慧
從基礎的資料分析 線性代數及矩陣等等入門，只有打好了基礎，後面才好學，不能沒有邏輯的看一塊學一塊。python具有豐富和強大的庫，能夠把用其他語言製作的各種模組 尤其是c c 很輕鬆地聯結在一起。比如3d遊戲中的圖形渲染模組，效能要求特別高，就可以用c c 重寫，而後封裝為python可以呼叫的擴充...