(可選但強烈推薦)
如果不了解機器學習,可以從andrew ng在coursera上的機器學習公開課開始學習(國內的網易公開課上有andrew ng授課時的版本,相對較難一點,但更推薦)。 他在課程裡不僅教授了各種各樣的機器學習演算法,更重要的是,他還詳細講解了一般的機器學習研究方法,如資料預處理、調參等等。
要對深度學習有個初步的認識,可以閱讀由geoff hinton, yoshua bengio, and yann lecun等人合著的nips 2015 deep learning tutorial ,很適合初學者入門。
是的,沒有看錯,這一步就已經要求我們能深入了解深度學習。
如果你更喜歡看書學習,下面是一些極佳的學習材料。
deep learning book ,由ian goodfellow, yoshua bengio 和 aaron courville合著:內容有些緊湊,但絕對是一本好書。
深度學習有很多應用領域,找到乙個你感興趣的,並深入學習。因為深度學習的應用領域非常廣泛,所以下面的列表沒能全面展示深度學習的所有應用領域。
計算機視覺
深度學習改寫了這一領域。史丹福大學andrej karpathy的cs231n convolutional neural networks for visual recognition課程是我所知的最佳學習資料。 他教你基礎的計算機視覺知識,並且幫助你建立在aws上的gpu例項。還可以學習一下mostafa s. ibrahim的getting started in computer vision。
記憶網路 (rnn-lstm)
結合注意機制的lstm迴圈神經網路自外部讀寫記憶體的工作意味著在建造系統的時候有一些有意思的工作,就是能夠以問答的方式理解、儲存和檢索資訊。這個研究領域起源於nyu的facebook ai研究室的yann lecun博士。arxiv上最初的部落格:memory networks。許多的變體、資料集和基準測試都起源於這裡,比如,metamind的自然語言處理的動態記憶網路。
生成模型
儘管有辨識力的模型會嘗試檢測、識別和分割事物,但它們最終在倒在了尋找特徵的路上並且不能理解資料的基本層面。除了短期應用之外,生成模型還提供自動學習自然特徵的可能性,類別、尺寸或者完全是其它的特徵。下面是三種常用的生成模型 —— 生成對抗網路 (gans),變分自編碼器(vaes) 和 對抗模型 (比如 pixelrnn)。其中,gan是最流行的。深入閱讀:
動手做專案是成為專家的關鍵。嘗試去做一些你感興趣而且和你技能水平相匹配的專案。下面是幾個幫助你思考的建議:
其他資源
下面是一些幫助你繼續學習的方法:
github上christoschristofidis/awesome-deep-learning專案裡有很多深度學習的教程、專案,還有有趣的社群,值得star和fork。
深度學習的四個部分
優化 optimization 深度學習的問題最後似乎總能變成優化問題,這個時候數值優化的方法就變得尤其重要。從實踐方面來說,現在最為推崇的方法依舊是隨機梯度遞減,這樣乙個極其簡單的方法以其強悍的穩定性深受廣大研究者的喜愛,而不同的人還會結合動量 momentum 偽牛頓方法 pseudo newt...
深度學習四個明顯的缺點
1.只能根據寄有的資料來學習 不會判斷資料正確性。深度學習可以在不理解資料的情況下模仿資料中的內容 它不會否定任何資料,不會發現社會上的偏見,而只是 學習資料 深度學習只相信它在資料中頻繁看到的事物 底層模式和趨勢,因此它會放大人類社會的偏見和問題。如果資料顯示被逮捕的黑人比白人多,那麼一旦有人犯罪...
達成學習目標的四個步驟
這段時間一直在出差比較忙一直沒有更新部落格,今天有一些時間來寫些文章。每次出差的時候都會帶一些書,有電子版的 圖書館借的和自己買的。有時間的時候會看一下,看完之後都有學到一些新的知識和想法。第一步 明確你的目標 第二步 持續採取行動 當你開始執行你的計畫,總會遇到各種的阻力來干擾你的計畫。這些阻力最...