√ 使用深度學習技術解決問題的過程中，最常見的障礙在於，因為模型有大量的引數需要訓練，因此需要海量訓練資料作支撐。
√ 在面對某一領域的具體問題時，通常可能無法得到構建模型所需規模的資料。
√ 借助遷移學習，在乙個模型訓練任務中針對某種型別資料獲得的關係也可以輕鬆地應用於同一領域的不同問題。
遷移學習的應用是近低於有監督學習。
遷移學習調優的時候保證調整後的引數與原來的引數很接近，如果引數變化很大，可能會導致過擬合。在損失函式上加上正則項約束，用調整後的w-原來的w
由於資料量不夠，可以僅僅訓練部分層，其餘層保持不變。
比如對於影象問題，通常是拷貝開始的一些層，訓練後面的一些層
對於語音問題: 通常是拷貝最後一些層，訓練前面的一些層（把不同的人的音色、發聲方式等提取出來）
為什麼需要深度學習
為了科研專案的需求，作為在博一快結束時轉而進行機器學習領域的研究。周圍沒有同事從事相關的研究，用最快的速度完成了對機器學習和深度學習的了解。我感覺經常問自己的乙個問題就是為什麼要從機器學習到深度學習？對我的科研工作有沒有幫助。我主要看了兩個資料 deep learning book mit intr...
深度學習 為什麼深度學習需要大記憶體？
本文主要譯介自graphcore在2017年1月的這篇部落格 why is so much memory needed for deep neural networks。介紹了深度學習中記憶體的開銷，以及降低記憶體需求的幾種解決方案。考慮乙個單層線性網路，附帶乙個啟用函式 h w 1x w 2h w...
為什麼我們需要研究遷移學習？
首先，生活上我們遇到更多的是小資料，而在小資料上學習的模型，才是真正的智慧型。第二，我們希望構建的系統不僅在那個領域能夠發揮作用，在其周邊也可以發揮作用。即我們希望系統是可靠的，其可以舉一反三和融會貫通，這也是我們賦予智慧型的一種定義。第三，我們希望更重要的是如何能夠把乙個通用的系統加上個人的小資料...