在剛接觸深度學習這個概念時，一直覺得，它是與淺層學習相對立的，是學習的正反兩面。深度學習要求學的是創造性、批判性的知識，而淺層學習則是一些機械的知識，甚至說是一些死記硬背的知識，是無效的學習。既然這樣，我粗淺地認為，我們在課堂中就要提倡深度學習，摒棄淺層學習。
學完這份材料，我發現這個粗淺的理解真是大錯特錯了。淺層學習和深層學習是學習的兩種方式，兩者是乙個單獨的連續統一體，對於學習者來說，應根據自己學習過程中的實際情況選擇合適的學習方法，在不同的時間裡可以使用不同的學習方法。淺層學習是對資訊的接收和短時記憶，需要外力驅動；深層學習是基於理解的學習，需要內部驅動。
當然，我們提倡課堂中學生能進行深度學習，能進行有效地思考、反思、追問，讓知識在理解中化為己用，真正掌握。
主要參考文獻：從一到八）； 從
2023年代末期以來，機器學習的發展大致經歷了兩次浪潮：淺層學習（shallow learning）和深度學習（deep learning）。需要指出是，機器學習歷史階段的劃分是乙個仁者見仁，智者見智的事情，從不同的維度來看會得到不同的結論。這裡我們是從機器學習模型的層次結構來看的。
需要指出是，機器學習歷史階段的劃分是乙個仁者見仁，智者見智的事情，從不同的維度來看會得到不同的結論。這裡我們是從機器學習模型的層次結構來看的。
第一次浪潮：淺層學習
80年代，用於人工神經網路的反向傳播演算法（也叫back propagation演算法或者bp演算法）的發明，給機器學習帶來了希望，掀起了基於統計模型的機器學習熱潮。這個熱潮一直持續到今天。人們發現，利用bp演算法可以讓乙個人工神經網路模型從大量訓練樣本中學習出統計規律，從而對未知事件做**。這種基於統計的機器學習方法比起過去基於人工規則的系統，在很多方面顯示出優越性。這個時候的人工神經網路，雖然也被稱作多層感知機（multi-layer perceptron），但實際上是一種只含有一層隱層節點的淺層模型。
deep learning本身算是machine learning的乙個分支，簡單可以理解為neural network的發展。在當時，neural network曾經是ml領域特別火熱的乙個方向，但是後來確慢慢淡出了，原因包括以下幾個方面：
神經網路的問題：
1）由於神經網路容易過擬合，引數比較難調，而且需要不少trick；
2）訓練速度比較慢，在層次比較少（小於等於3）的情況下效果並不比其它方法更優。
90年代，由於神經網路的問題，其他各種各樣的淺層機器學習模型相繼被提出，比如支撐向量機（svm，support vector machines）、boosting、最大熵方法（例如lr， logistic regression邏輯回歸）等。這些模型的結構基本上可以看成帶有一層隱層節點（如svm、boosting），或沒有隱層節點（如lr）。這些模型在無論是理論分析還是應用都獲得了巨大的成功。
但是，乙個痴心的老先生hinton，他堅持了下來，繼續神經網路的相關研究，並最終（和其它人一起bengio、yann.lecun等）提成了乙個實際可行的deep learning框架
2023年，加拿大多倫多大學教授、機器學習領域泰斗——geoffrey hinton和他的學生ruslan salakhutdinov在頂尖學術刊物《科學》上發表了一篇文章，開啟了深度學習在學術界和工業界的浪潮。這篇文章有兩個主要的資訊：
1.多隱層的人工神經網路具有優異的特徵學習能力，學習得到的特徵對資料有更本質的刻畫，從而有利於視覺化或分類；
2.深度神經網路在訓練上的難度，可以通過「逐層初始化」（layer-wise pre-training）來有效克服，在這篇文章中，逐層初始化是通過無監督學習實現的。
當前多數分類、回歸等學習方法為淺層結構演算法，
其侷限性在於有限樣本和計算單元情況下對複雜函式的表示能力有限，針對複雜分類問題其泛化能力受到一定制約
。深度學習可通過學習一種深層非線性網路結構，實現複雜函式逼近，表徵輸入資料分布式表示，並展現了強大的從少數樣本集中學習資料集本質特徵的能力。
（多層的好處是可以用較少的引數表示複雜的函式）
深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練資料，來學習更有用的特徵，從而最終提公升分類或**的準確性。
因此，「深度模型」是手段，「特徵學習」是目的。
區別於傳統的淺層學習，深度學習的不同在於：
1）強調了模型結構的深度，通常有5層、6層，甚至10多層的隱層節點
2）明確突出了特徵學習的重要性，也就是說，通過逐層特徵變換，將樣本在原空間的特徵表示變換到乙個新特徵空間，從而使分類或**更加容易。與人工規則構造特徵的方法相比，利用大資料來學習特徵，更能夠刻畫資料的豐富內在資訊。
深度學習與深層神經網路等概念
線性模型的侷限性 線性模型可以解決線性問題，然而，現實中遇到的問題幾乎都是 複雜問題 即非線性問題，線性模型不能解決非線性問題，這就是線性模型的侷限。深層神經網路 深層神經網路是解決 多層非線性變換 最常用的一種方法，其可等同於深度學習。即深度學習和深層神經網路需要解決的問題是非線性問題 複雜問題。...
深度學習深層剖析 建模知識與開源工具選項
51cto.com快譯 在本篇文章中，我們將著力 如何利用深度學習演算法建立一套資料模型。在這裡，我們不會涉及人腦或者人類智慧型方面的議題，而是嘗試解讀深度學習技術如何幫助我們解決電腦科學與早期人工智慧領域的那些重大難題。我們還將談到深度學習的優勢與應用範疇，並解答建立深度學習模型中遇到的部分問題。...
拓撲資料分析與機器學習的相互促進
摘要 很多人認為拓撲資料分析是機器學習的一種形式，而這兩者之間的區別在於你對機器學習的理解與認知，而這篇文章就為你解析拓撲資料分析的一切問題。編者按 拓撲資料分析 tda 和機器學習 ml 的區別與聯絡讓不熟悉tda的人撲朔迷離，本文通過兩個定義，解釋了tda和ml的不同，以及tda和ml如何相互促...