深度學習簡介
應用深度學習的關鍵
問題的動機和特點；
將大量不同型別神經網路層通過特定方式組合在⼀起的模型背後的數學原理；
在原始資料上擬合極複雜的深層模型的優化演算法；
有效訓練模型、避免數值計算陷阱以及充分利用件效能所需的工程技能；
為解決方案挑選合適的變數（超引數）組合的經驗。
絕大多數神經網路都包含以下的核心原則：
交替使用線性處理單元與非線性處理單元，它們經常被稱為「層」。
使用鏈式法則（即反向傳播）來更新網路的引數。
近十年來深度學習長足發展的部分原因：
優秀的容量控制方法，如dropout
注意力機制：如何在不增加引數的情況下擴充套件乙個系統的記憶容量和複雜度。
記憶網路和神經編碼器—直譯器這樣的多階設計使得針對推理過程的迭代建模方法變得可能。
生成對抗網路
分布式並行訓練演算法。設計可擴充套件演算法的最大瓶頸在於深度學習優化演算法的核心：隨機梯度下降需要相對更小的批量。
平行計算的能力也為至少在可以採用模擬情況下的強化學習的發展貢獻了力量。
深度學習框架
系統研究者負責構建更好的工具，統計學家建立更好的模型。這樣的分工使工作大大簡化。 特點
端到端的訓練。並不是將單獨除錯的部分拼湊起來組成乙個系統，而是將整個系統組建好之後一起訓練。
從含引數統計模型轉向完全無引數的模型
相對其它經典的機器學習方法而言，深度學習的不同在於：
練習
動手學習深度學習 讀書筆記 1
一直都有拜讀 動手學習深度學習 的慾望，無奈總是心裡說想要，身體又很誠實。最近由於全民戰 疫 只能天天宅在家裡，為了不荒廢學習報名參加了datawhale聯合博禹教育，上交大，和鯨科技和亞馬遜aws打造的 動手學習深度學習 的ai公益訓練營。藉此機會，好好的讀讀 動手學習深度學習 這本書。同時，本次...
動手學深度學習筆記（1）
機器學習，神經網路是很多領域共同發展的成果。時至今日，絕大多數神經網路都包含以下的核心原則 深度學習從發現到發展，仍能屹立的部分原因 在機器學習的眾多研究方向中，表徵學習關注如何自動找出表示資料的合適方式，以便更好地將輸入變換為正確的輸出。深度學習是具有多級表示的表徵學習方法。在每一級 從原始資料開...
深度學習讀書筆記（1）
欠擬合 模型不能在訓練集上獲得足夠低的誤差 過擬合 訓練誤差和測試誤差之間的差距太大。通過調整模型的容量，可以控制模型是否偏向過擬合或者欠擬合。從預先知道的真實分布p x,y 而出現的誤差被稱為貝葉斯誤差。任何模型容量小於最優容量的固定引數模型會漸進到大於貝葉斯誤差的誤差值。在所有可能的資料生成分布...