深度學習是指多層神經網路上運用各種機器學習演算法解決影象、文字等各種問題的演算法集合。深度學習從大類上可以歸入神經網路，不過在具體實現上有許多變化。深度學習的核心是特徵學習，旨在通過分層網路獲取分層次的特徵資訊，從而解決以往需要人工設計特徵的重要難題。深度學習是乙個框架，包含多個重要演算法：
convolutional neural networks（cnn）卷積神經網路
autoencoder（ae）自動編碼器
sparse coding 稀疏編碼
restricted boltzmann machine（rbm）限制玻爾茲曼機
deep belief networks（dbn） 深度信念網路
recurrent neural network（rnn）多層反饋迴圈神經網路/遞迴神經網路
對於不同問題（影象、語言、文字），需要選用不同網路模型才能達到更好效果。此外，最近幾年增強學習（reinforcement learning）與深度學習的結合也創造了許多了不起的成果。
1、卷積神經網路（cnn）
是一種深層神經網路模型。它的特殊性體現在兩個方面：
a.相鄰層的神經元之間的連線是非全連線的
b.同一層中某些神經元之間的連線的權重是共享的
前饋神經網路，各神經元從輸入層開始，接收前一級輸入，並輸出到下一級，直至輸出層。整個網路中無反饋，可用乙個有向無環圖表示。每一層節點是乙個線性的一維排列狀態，層與層的網路節點之間是全鏈結的。假設一下，如果前饋神經網路中層與層之間的節點連線不再是全連線，而是區域性連線的，這樣，就是一種最簡單的一維卷積網路。
區域性連線：
cnn在網路的相鄰兩層之間使用區域性連線來獲取影象的區域性特性。具體地說，第m層的隱藏單元只與第m-1層的區域性區域有鏈結，第m-1層的這些區域性區域被稱為空間連續的接收域。
權值共享：
在cnn中，對整個影象進行一次卷積操作，不同區域性區域使用的是同乙個卷積核（即權重引數相同），由此生成了乙個特徵對映（feature map）。通過對不同的卷積核對整個影象進行卷積可生成不同feature map。
基本組成部分：
卷積層：
池化層：
是cnn的重要組成部分，通過減少卷積層之間的連線，降低運算複雜程度。以下是常用的幾種池化演算法：（1）lp池化；（2）混合池化；（3）隨機池化；（4）spectral池化
啟用函式：
常用的非線性啟用函式有sigmoid、tanh、relu等等，前兩者sigmoid/tanh比較常見於全鏈結層，後者relu常見於卷積層。
1）relu；2）leaky relu；3）parametric relu；4）randomized relu；5）elu；6）maxout；7）probout；
loss函式：
1）softmax loss；2）hinge loss；3）contrastive loss；
優化：1）初始化權重；2）隨機梯度下降；3）批量標準化；4）shortcut連線
深度學習簡介
一 概念 1.是機器學習研究中的乙個新的領域，其動機在於建立，模擬人腦進行分析學習的神經網路，它模擬人腦的機制進行解釋資料，學習方法也分為監督學習和非監督學習兩種方式。2.深度學習成功的條件 大資料 大規模計算能力 複雜模型 高效演算法 二 適於解決的問題的特徵 1.深度不足會出現問題 2.人腦具有...
深度學習簡介
一 人工智慧 機器學習與深度學習 1.定義 2.傳統機器學習和深度學習流程對比 3.人工智慧 機器學習以及深度學習之間的關係 二 深度學習的應用 1.計算機視覺 影象識別 2.語音識別 3.自然語言處理 nlp 4.人機博弈 三 深度學習工具介紹和對比 一 人工智慧 機器學習與深度學習 1.定義 業...
深度學習簡介
計算機的發明，起初是為了代替人類進行重複性勞動，比如一些複雜的運算，對於人來說是非常困難的 然而，一些通過人類的直覺就可以很快解決的問題，如 自然語言 影象識別 語音識別等，對於計算機來說就非常困難，這就是人工智慧需要解決的問題。1997年卡內基梅隆大學的tom michael mitchell教授...