現在，人工智慧的發展處於跳躍式階段，我們也對ai在
大型資料集「容易
」。另外，得益於
pytorch框架
、fast.ai應用程式庫
以及floydhub公司
，小團隊或者是個別開發人員也能輕鬆的應用這些方法。
本文要講的例子就是
ulmfit
：jeremy howard
和sebastian ruder
在fast.ai
還有乙個小技巧，它擁有大量特定領域的文字：10
這並不是乙個特別愚蠢的問題。
frame
可以幫助
zendesk
，intercom
和slack
等規模性公司標記、評價和理解與客戶的對話。也就是說，
「只要有足夠的對話，我們就可以手動評價」和
「我們有足夠的資料從頭訓練乙個模型
」，這二者之間有很大的差距。僅僅幾十個標籤和幾千條相關對話，這能夠做什麼？
ulmfit。
遷移什麼？
深度神經網路是當前最新人工智慧背後的
關鍵技術
，比如理解影象、音訊或文字。深度神經網路的核心是它由層（「深度
」）組成，每個層都將輸入轉換為更接近網路訓練答案的新的表示。
我們通常會抱怨，不了解神經網路的中間層到底發生了什麼
……其實，它們通常被設計為更加清晰、可解釋的角色！比如：很多語言模型利用嵌入層將單個單詞或短語進行分類，將具有相似含義的單詞或短語放在一起。舉個例子來說，這將有助於翻譯
ai在需要使用「傑出
」（illustrious
）這個詞的時候，會根據經驗選擇使用「偉大
現在變得更有趣了：乙個「知道
」「illustrious = great」
的層不僅有利於翻譯，還可以學習情緒估計，將不同的觀點聚集起來。這就是遷移學習，也就是說模型在乙個任務中學習到的東西可以對另外乙個學習任務有幫助。事實上，這個特殊的例子特別受歡迎，以至於改進的通用
語言模型
已經成為乙個全新的領域！
「緊張、緊張的驚悚
」是件好事。
這就是jeremy
和sebastian rudder
的通用語言模型微調文字分類（
ulmfit
）的用武之地。他們對乙個包含
100,000
個imdb
ai學習審稿人經常用「傑出
」或「很好
」代替「緊張、緊繃
」等，這很好的彌補了資料不足的缺陷。結果的準確度令我們感到驚訝：僅僅有
500個標記示例，分類的準確度卻高達
94%。
未被標記的資料最少需要多少？
ulmfit
為nlp
提供了乙個有力的依據，使模型能夠更有效的利用較小的資料集。在這項研究中，我們專注於回答以下問題：
如果我們對標記示例的預算特別少，那麼，得需要收集多少未標記的資料才能有效的使用遷移學習？
為了解決這個問題，我們使用了大量固定的域資料池，並改變了標記示例的數量，來看看模型應該如何改進。將標記示例的數量保持不變，並改變未標記的其他域示例的數量。也就是說，我們的實驗包括：
1.語言建模（變數）
2.語言任務（不變數）
我們的語言任務、情感分類和原始的
ulmfit
**中的任務相同，另外，也使用了
在實驗中，標記情緒訓練樣本的數量保持在
500個，
500個樣本可以用於很多小領域的研究，並且，有助於強調不同語言模型的差異提公升能力。
對於語言建模，我們改變了可用於語言任務的三種語言模型的域資料量： •
僅限ulm
：這是使用
wikitext103
預訓練英語語言模型 •
僅限域（
domain
）：僅在
imdb
資料上的基於域訓練的模型。
•ulm +
域（domain
）：ulmfit模型
訓練這些模型的計算量特別大，最大的域訓練可能需要幾天的時間才能完成。為了加快訓練速度和有效的執行網格搜尋，我們使用了
floydhub。
結果
經過大約
50個小時
gpu處理，結果如下：
從實驗結果，我們可得知： •
使用33
％的域資料，就可以獲得
75％資料的
umlfit
效能。
•令人驚訝的是，
ulm + 2,000
域示例的語言任務**準確率約為
85％。
本文由北郵
@愛可可-愛生活
老師推薦，
阿里云云棲社群
組織翻譯。
文章原標題《
learning more with less: frame explores transfer learning in low-data environments with floydhub, fast.ai, and pytorch》
譯者：mags
，審校：袁虎。
文章為簡譯，更為詳細的內容，請檢視原文
資料不足，如何進行遷移學習？
這並不是乙個特別愚蠢的問題。frame可以幫助zendesk，intercom和slack等規模性公司標記 評價和理解與客戶的對話。也就是說，只要有足夠的對話，我們就可以手動評價 和 我們有足夠的資料從頭訓練乙個模型 這二者之間有很大的差距。僅僅幾十個標籤和幾千條相關對話，這能夠做什麼？遷移什麼？深...
資料不足，如何進行遷移學習？
摘要 在沒有足夠的訓練資料時，本文詳細介紹了如何使用floydhub fast.ai和pytorch進行遷移學習。這並不是乙個特別愚蠢的問題。frame可以幫助zendesk，intercom和slack等規模性公司標記 評價和理解與客戶的對話。也就是說，只要有足夠的對話，我們就可以手動評價 和 我...
資料不足，如何進行遷移學習？
現在，人工智慧的發展處於跳躍式階段，我們也對ai在 大型資料集 容易 另外，得益於 pytorch框架 fast.ai應用程式庫 以及floydhub公司 小團隊或者是個別開發人員也能輕鬆的應用這些方法。本文要講的例子就是 ulmfit jeremy howard 和sebastian ruder ...