深度學習的發展大致分為這麼幾個學期：
在yann lecun、yoshua bengio和geoffrey hinton三巨頭nature深度學習綜述《deep learning》文章中提到，這段期間神經網路模型被主流的計算機視覺和學術界所拋棄。
這期間，學者們試圖用有監督學習的方式訓練深度神經網路，然而方法不是十分奏效，陷入了困境，在andrew的教程中可以找到大概這幾點原因：資料獲取
因為一直沒有找到有效的解決這些問題的方法，這期間，深度神經網路的發展一直不溫不火。或者說在2023年hochreiter的gradient flow in recurrent nets: the difficulty of learning long-term dependencies（好像是這篇）提出了神經網路存在的幾個問題後，在接下來的幾年內神經網路的發展陷入了低谷。而那幾年流行的機器學習演算法是svm和整合模型（隨機森林、adaboost等）。
2023年hinton在nature上發表了一篇文章reducing the dimensionality of data with neural networks，針對上面提到的三個深度學習的問題，提出了棧式自編碼器+bp微調的解決方案。在一定程度上解決了上面的三個問題。
從此，深度學習開啟嶄新的浪潮。
在12年的ilsvrc競賽中，hinton團隊的alexnet模型imagenet classification with deep convolutional neural networks將1000類分類的top-5誤差率降低到了15.3%，碾壓了第二名使用svm演算法的26.2%，開啟了深度學習的革命，從此之後，深度學習走上了指數式的發展道路。
回到hilton團隊的alexnet模型上，僅僅使用了有監督的訓練，貌似沒涉及無監督的預訓練。不是在之前說有監督的深度學習訓練存在很多問題嗎，大概是因為這幾條原因，導致了有監督訓練的可行：
對於06-12年期間的深度神經網路主要以無監督預訓練為主流，從12年以後，這時資料庫足夠大（上萬級別），模型足夠先進（relu啟用函式，dropout等等），同時計算速度足夠快（gpu）加速，使得無監督預訓練（自編碼神經網路）在很多應用場景中失去了存在的價值，有監督訓練已經足夠完成任務。
一句話總結，06年的無監督預訓練開啟了深度學習的紀元，在之後深度學習快速發展的過程中，大資料的獲取、計算機硬體的發展以及深度模型的公升級使得有監督訓練重新走上舞台，無監督訓練也算是完成了歷史使命。
那麼預訓練還有用嗎？答案是肯定的，比如我們有乙個分類任務，資料庫很小，這時還是需要通過預訓練來避免過擬合的問題，只不過預訓練是通過在乙個大的資料庫上，通過無監督來完成的，這種無監督預訓+小的資料庫上的微調的模型稱為transfer learning。
深度學習發展簡史
美國康奈爾大學計算機教授羅森布拉特提出了感知器 perceptron 的概念。辛頓和美國心理學家魯梅哈特在兩層神經網路中提出了反向傳播演算法，大大減少了計算量。推動了神經網路在學術界的復甦。辛頓在 科學 雜誌上發表了一篇文章，提出了深度網路的概念。辛頓還改革了傳統的訓練方式，增加了預訓練 pre t...
深度學習發展歷程
一 神經元 1943年，心理學家mcculloch和數學家pitts參考了生物神經元的結構，發表了抽象的神經元模型mp。1 結構 神經元模型是乙個包含輸入，輸出與計算功能的模型。輸入可以模擬為神經元 的樹突，而輸出可以模擬為神經元的軸突，計算則可以模擬為細胞核。下圖是乙個典型的神經元模型 包含有3個...
深度學習系列（1） 簡要概念
deep learning 的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分布式特徵表示。1 深度學習的概念由hinton等人於2006年提出。基於深信度網 dbn 提出非監督貪心逐層訓練演算法，為解...