特別說明：
這篇文章是為了解決那些對於深度學習完全陌生並且正在計畫進入這個領域的人。其目的是幫助他們批判性地思考該領域的複雜性，並幫助他們區分哪些是真正困難的事情，哪些是微不足道的事情。在我撰寫和發表這篇文章時，我意識到這篇文章的語氣過於挑釁，而且我不是乙個好的作家，沒有能力寫一篇發人深省的文章。所以請用寬恕的心態來閱讀文章。
現在我遇到很多想進入機器學習
/人工智慧領域的人，尤其是深度學習領域。有些人問我開始學習的最好方法是什麼。顯然，隨著事情的發展，似乎沒有人能夠擁有足夠的時間獲得博士學位。而且在大學中做這方面的技術研究，有時候會感覺到在應用程式，技術和基礎設施方面有點落後，所以這也就是為什麼人工智慧的大師們都在科技巨頭任職的原因。現在幾乎每家科技巨頭都給博士生提供職位，延長實習期，這可以讓你在沒有博士學位的情況下在機器學習領域取得成功的職業生涯。你最好的選擇是什麼取決於你自身的情況，但也取決於你想達到的目標。總之，擁有博士的頭銜進入深度學習領域，你必須要沉得住氣，因為你比其他人走的更深，同時花費的時間也需要更多。
我發現自己給予他人深度學習的一般建議是：深度學習很容易。在不選擇一些難學的領域時，學習神經網路不應該成為目標，而是一種順帶手完成的事情。比如現在的學習
python
，你就可以順手學習一些深度學習。但是，你必須要有乙個這樣的認知：
深度學習是強大的，因為它讓事情變得簡單。
tensorflow
、theano
、lasagne
、blocks
、keras
等越來越高階的開源性框架，將幫助你實現你的想法，達到你的目的。
這並不是說沒有真正的新穎想法來自深度學習，也不是說深度學習就是今天發展的這個樣子。在進行深度學習的時候，我們也會遇到多方面的問題，解決這些問題應該是更具挑戰性。比如，生成敵對網路和變分自動編碼器是引起對概率
/生成建模新興趣的出色例子。理解為什麼
/如何工作，以及如何推廣
/構建它們真的很難。同樣，在理解這些深層神經網路為什麼以及如何真正起作用方面還有更多令人興奮的研究方向。
在這個領域還有另外一種感覺，低階的深度學習正在消失。建立用於監督學習的深度神經網路，雖然仍在改進中，但是現在很多人認為那是很無聊的工作或許多人都能完成監督學習模型的構建（這是乙個大膽的陳述，當然遠非如此），今天我們可以看到，模型的構建門檻已經低到乙個中學生都能夠完成，但是鑑於資料標註的問題，模型的精準度是乙個巨大的挑戰。所以，下乙個目標就是無監督學習模型的構建，無監督學習模型肯定會從深度學習工具包中受益，但它的發展也需要一種截然不同的思維方式，比如說需要熟悉資訊理論/概率
/幾何等知識。洞察如何使這些方法真正起作用的思維方式，不大可能來自對目前神經網路架構的改進，而是會以一種腦洞形式的思維方式開始。
我個人認為今天大多數人通過學習深度學習，意味著他們正在學習使用乙個相對簡單的工具箱。在六個月的時間裡，許多人會擁有這些技能。這些人沒有必要花時間研究
/學習那些太基礎的東西，因為你可能會錯過對工作產生真正影響的機會。把深度學習當成乙個工具，而不是乙個養家餬口的技術，這應該是未來的乙個趨勢。
回歸本源
什麼是最難學的例子？想想
ian goodfellow
，durk kingma
2000
年初都進行了積極的研究。或許我們都應該回顧學習一下經典的演算法，如
em演算法、變分推理、
線性高斯系統的無監督學習
、主成分分析、因子分析、卡爾曼濾波、慢特徵分析。我個人也可以推薦
aapo hyvarinen
關於ica
這個開創性的深層信念網路**
。快速高階到下乙個技術邊界
雖然深度學習是最近發生的最有趣的突破，但我們也嘗試押注未來可能獲得相關性的領域：
·概率程式設計和黑箱概率推理（帶或不帶深度神經網路）：如果對此領域的技術感興趣可以關注一下
picture
或者josh tenenbaum
關於反向圖形網路
的**或者在
nips
研討會上介紹
黑盒推理
。在這裡我需要引用我的乙個朋友的話：
概率程式設計可以為貝葉斯
ml提供
theano
所做的工作
·使用或不使用深度神經網路的
mcmc
和變分推理方法更好且可擴充套件。最近有很多關於這方面的工作。如果我們讓
mcmc
像隨機梯度下降一樣可靠，那麼現在對於深層神經網路來說，這可能意味著更多顯性貝葉斯概率模型和分層圖形模型的復甦，其中
rbm僅僅是乙個例子。
《深度學習》摘記之前饋神經網路 1
前饋神經網路也叫作深度前饋網路或者多層感知機，是典型的深度學習模型。前饋神經網路的目標是近似某個函式f 例如，對於分類器，y f x 對映到乙個類別標籤y。通過定義乙個x到y的對映y f x 並學習引數 的值，使對映能夠得到最佳的函式近似。之所以被稱為前饋網路，是因為資訊流過x的函式，流經用於定義f...
深度學習筆記016卷積層基礎之前
對於分類問題，利用mlp會出現模型太大 大到離譜 的問題。比如你分類貓狗的模型的引數比世界上所有的狗和貓都多，這顯然是不對的。1 平移不變性 2 區域性性 卷積就是乙個特殊的全連線層 總結 乙個系統，輸入是不穩定的，輸出是穩定的，那麼我們就可以用卷積來求這個系統的存量。跳出吃飯 消化這個例子，我們可...
學習新技術之前要弄清楚下面的幾個問題
目錄 1.為什麼要學習它？2.學習流程 路線。3.學習方法 4.學習資料的收集 5.學習的方法和效率 學習一門新技術之前弄清楚幾個問題 也就是學習的目的是什麼，為了幹什麼才去學習它的?知道學了之後有什麼用，會給自己帶來什麼幫助，這樣學起來才會更有動力。弄清楚學習這個新技術的框架，盡可能避免在學習中期...