一．概念
1.是機器學習研究中的乙個新的領域，其動機在於建立，模擬人腦進行分析學習的神經網路，它模擬人腦的機制進行解釋資料，學習方法也分為監督學習和非監督學習兩種方式。
2.深度學習成功的條件
大資料+大規模計算能力+複雜模型+高效演算法
二．適於解決的問題的特徵
1.深度不足會出現問題
2.人腦具有乙個深度結構
3.認知過程逐層進行，逐步抽象
三．核心思想
1. 無監督學習用於每一層網路的pre-train
2. 每次用無監督學習訓練一層，將其訓練結果作為其高一層的輸入
3. 用監督學習去學習去調整所有層
四．基本思想
對堆疊的多個層，把這一層的輸出作為下一層的輸入
五．geoffrey hinton
1.多隱的神經網路具有優異的特徵學習能力，學習得到的特徵對資料有更本質的刻畫，從而更有利於視覺化和分類
2.深度神經網路在訓練上的難度可以通過「逐層初始化」來有效克服。
六．深度學習的實質
是通過構建具有多隱層的機器學習模型和海量的訓練資料，來學習更有用的特徵，從而最終提公升分類或**的準確性。因此，「深度模型」是手段,
」特徵學習
」是目的。區別於傳統的淺層學習，深度學習的目不同在於：
（1）.強調了模型結構的深度，通常有5層，6層，甚至十多層的隱層節點
（2）.明確突出了特徵學習的重要性，也就是說，通過逐層資料變換，將樣本在原空間的特徵表示變換到乙個新的特徵空間中，從而使分類或**更加容易。與人工規則構造特徵的方法相比，利用大資料來學習特徵，更能夠刻畫資料的豐富內在資訊。
七．wake-sleep 演算法
1.wake階段：認知過程，通過外界的特徵和向上的權重（認知權重）產生每一層的抽象表示（結點狀態），並且通過梯度下降修改層間的下行權重（生成權重），也就是「如果現實和我想的不一樣，改變我的權重使得我想要的東西就是這樣的」
2.sleep階段：生成過程，通過頂層表示和向下權重，生成底層的狀態，同時修改層間向上的權重。也就是說「如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念」
八．deep learning訓練過程
1.使用自下上公升非監督學習
2.自頂向下的監督學習
九．常用模型和方法
1.autoencoder自動編碼器
（1）給定無標籤資料，用非監督學習學習特徵
input----->encoder----->decoder--------------error |
| |
|__________________________|
(2)通過編碼器得到特徵，然後把上一層的輸出作為下一層的輸入，這樣逐層訓練
（3）有監督微調
在autoencoder 的頂層的編碼層新增乙個分類器，然後通過標準的多層神經網路的監督學習方法去訓練。
（4）sparse autoencoder 稀疏自動編碼器
（5）denoising autoencoder 降噪自動編碼器
2.sparse coding 稀疏編碼
目標函式：min(∑|x-∑a*φ|^2+λ∑∑a)
（1）training 階段
a.固定字典φ[k]，然後調整a[k],使得目標函式最小（即解lasso問題）
b.然後固定a[k],調整φ[k]使得目標函式最小（即解凸
qp問題）
不斷迭代直至收斂。這樣就可以得到一組可以良好表示這一系列x
的基，也就是字典（2）
coding
x，由上面得到的字典，用過解
lasso
問題得到稀疏向量
a
深度學習簡介
一 人工智慧 機器學習與深度學習 1.定義 2.傳統機器學習和深度學習流程對比 3.人工智慧 機器學習以及深度學習之間的關係 二 深度學習的應用 1.計算機視覺 影象識別 2.語音識別 3.自然語言處理 nlp 4.人機博弈 三 深度學習工具介紹和對比 一 人工智慧 機器學習與深度學習 1.定義 業...
深度學習簡介
深度學習是指多層神經網路上運用各種機器學習演算法解決影象 文字等各種問題的演算法集合。深度學習從大類上可以歸入神經網路，不過在具體實現上有許多變化。深度學習的核心是特徵學習，旨在通過分層網路獲取分層次的特徵資訊，從而解決以往需要人工設計特徵的重要難題。深度學習是乙個框架，包含多個重要演算法 conv...
深度學習簡介
計算機的發明，起初是為了代替人類進行重複性勞動，比如一些複雜的運算，對於人來說是非常困難的 然而，一些通過人類的直覺就可以很快解決的問題，如 自然語言 影象識別 語音識別等，對於計算機來說就非常困難，這就是人工智慧需要解決的問題。1997年卡內基梅隆大學的tom michael mitchell教授...