為什麼需要深度學習

為了科研專案的需求，作為在博一快結束時轉而進行機器學習領域的研究。周圍沒有同事從事相關的研究，用最快的速度完成了對機器學習和深度學習的了解。我感覺經常問自己的乙個問題就是為什麼要從機器學習到深度學習？對我的科研工作有沒有幫助。

我主要看了兩個資料《deep learning book mit》introduction部分和《21天實戰caffe》。第一本英文書已經講得足夠清楚，但是閉上書自己用中文表達，感覺只可意會不可言傳。終於在這本中文書中找到了我認為比較理想的表達：

2023年後，線性分類器的侷限性開始被認識到，它只能將輸入空間切分為非常簡單的區域，即由乙個超平面分離的兩個半區間。對於像影象和語音識別這類問題，需要輸入-輸出函式對輸入的非相關變化（位置的變化，方向變化，光照變化，語音的高音和低音變化）不敏感，而對類別敏感（如白狼和薩摩耶犬）。在畫素級別，兩張不同的姿態，不同環境下薩摩耶犬的**會有極大的不同，而同樣的背景，同樣位置的薩摩耶犬和白狼的**可能非常相似。對直接操作影象畫素的線性分類器或者其他「淺層」分類器可能不容易區分後兩張**，同時將前兩張放在同一類。這就是為什麼淺層分類器需要好的特徵提取器—有選擇地產生中重要類別資訊的表示，同時對無關資訊如姿態具有不變性—-以解決選擇無關的困境。

為了讓分類器更強大，可以使用廣義非線性特徵以及核函式方法。但廣義特徵（如高斯核函式）泛華能力差，常規的方法是手動設計好的特徵提取器，而這需要大量工程經驗和領域專家才能完成。如果好的特徵可以使用通過學習的方法自動學習得到，上述問題就可以避免，這是深度學習的核心優勢。

深度學習 為什麼深度學習需要大記憶體？

本文主要譯介自graphcore在2017年1月的這篇部落格 why is so much memory needed for deep neural networks。介紹了深度學習中記憶體的開銷，以及降低記憶體需求的幾種解決方案。考慮乙個單層線性網路，附帶乙個啟用函式 h w 1x w 2h w...

深度學習11 為什麼需要遷移學習？ 遷移學習簡介

使用深度學習技術解決問題的過程中，最常見的障礙在於，因為模型有大量的引數需要訓練，因此需要海量訓練資料作支撐。在面對某一領域的具體問題時，通常可能無法得到構建模型所需規模的資料。借助遷移學習，在乙個模型訓練任務中針對某種型別資料獲得的關係也可以輕鬆地應用於同一領域的不同問題。遷移學習的應用是近低於有...

為什麼是深度學習

是不是深度學習的hidden layer越多越好，我們並不是單純的研究引數增多的所帶來的效能改善，我們關注的是相同的引數情況下，是不是深度越深越好。那麼是什麼樣的原因出現上邊的情況呢？乙個合理的解釋就是modularization。modularization把本來複雜的問題變簡單，即使traini...