傳統的神經網路,也稱為淺層神經網路snn(shallow nerual network)。deep learning中重點研究的是深層神經網路,也稱為dnn(deep neural network,其中d是deep的縮寫。無論是snn還是dnn都屬於一類人工神經網路ann。dnn也是機器學習(machine learning)或感知學習(perception learning)的乙個分支。
下面是摘自網上對傳統淺層ann和dnn的描述。
20世紀80年代末期,用於人工神經網路的反向傳播演算法(也叫back propagation演算法或者bp演算法)的發明,給機器學習帶來了希望,掀起了基於統計模型的機器學習熱潮。這個熱潮一直持續到今天。人們發現,利用bp演算法可以讓乙個人工神經網路模型從大量訓練樣本中學習統計規律,從而對未知事件做**。這種基於統計的機器學習方法比起過去基於人工規則的系統,在很多方面顯出優越性。這個時候的人工神經網路,雖也被稱作多層感知機(multi-layer perceptron),但實際是種只含有一層隱層節點的淺層模型。
20世紀90年代,各種各樣的淺層機器學習模型相繼被提出,例如支撐向量機(svm,support vector machines)、 boosting、最大熵方法(如lr,logistic regression)等。這些模型的結構基本上可以看成帶有一層隱層節點(如svm、boosting),或沒有隱層節點(如lr)。這些模型無論是在理論分析還是應用中都獲得了巨大的成功。相比之下,由於理論分析的難度大,訓練方法又需要很多經驗和技巧,這個時期淺層人工神經網路反而相對沉寂。
1.2深度學習是機器學習的第二次浪潮
2023年,加拿大多倫多大學教授、機器學習領域的泰斗geoffrey hinton和他的學生ruslansalakhutdinov在《科學》上發表了一篇文章,開啟了深度學習在學術界和工業界的浪潮。這篇文章有兩個主要觀點:1)多隱層的人工神經網路具有優異的特徵學習能力,學習得到的特徵對資料有更本質的刻畫,從而有利於視覺化或分類;2)深度神經網路在訓練上的難度,可以通過「逐層初始化」(layer-wise pre-training)來有效克服,在這篇文章中,逐層初始化是通過無監督學習實現的。
當前多數分類、回歸等學習方法為淺層結構演算法,其侷限性在於有限樣本和計算單元情況下對複雜函式的表示能力有限,針對複雜分類問題其泛化能力受到一定制約。深度學習可通過學習一種深層非線性網路結構,實現複雜函式逼近,表徵輸入資料分布式表示,並展現了強大的從少數樣本集中學習資料集本質特徵的能力。(多層的好處是可以用較少的引數表示複雜的函式)
深度學習的實質,是通過構建具有很多隱層的機器學習模型和海量的訓練資料,來學習更有用的特徵,從而最終提公升分類或**的準確性。因此,「深度模型」是手段,「特徵學習」是目的。區別於傳統的淺層學習,深度學習的不同在於:1)強調了模型結構的深度,通常有5層、6層,甚至10多層的隱層節點;2)明確突出了特徵學習的重要性,也就是說,通過逐層特徵變換,將樣本在原空間的特徵表示變換到乙個新特徵空間,從而使分類或**更加容易。與人工規則構造特徵的方法相比,利用大資料來學習特徵,更能夠刻畫資料的豐富內在資訊。
2、dnn的優點
相比傳統的snn,dnn由於具有更多的層次結果,因而對事物的建模或抽象表現能力更強,也能模擬更複雜的模型。
3、dnn與ann的區別
其實dnn和ann都是一種人工神經網路,所以可以說dnn屬於ann的乙個分支。但是過去傳統的神經網路ann(artifical neural network),都是層次較少的網路型結構,所以又被稱為淺層網路(shallow neural network),dnn與傳統snn的區別就在於其網路層次結構更多,等複雜,因此由於其層次更多,在圖論上說就是圖的深度更深,所以被冠名為深度神經網路(deep neural network)。
dnn中屬性值的新增與刪除
感覺dnn中許多的屬性值都不是中國特色的,我們在面對客戶需求的時候有很多地方需要改進。單拿 檔案管理 中的address來說吧,裡面就分了state,city,street等等。感覺我們平常 就乙個address欄位就足夠了。沒有必要。那麼這個在 修改了。我們可以在admin 管理 的user ac...
dnn的網域名稱繫結
當初有乙個現成的專案,通過vs2005可以發布並登陸到首頁的default.aspx,但是我通過iis指定虛擬目錄就是怎麼也無法登陸。後來才明白現成專案已經繫結了特定的網域名稱,我想通過iis發布只能指定相同的別名才可以。比如我原來的專案已經繫結網域名稱localhost dnn,那麼我將這個專案轉...
dnn的網域名稱繫結
當初有乙個現成的專案,通過vs2005可以發布並登陸到首頁的default.aspx,但是我通過iis指定虛擬目錄就是怎麼也無法登陸。後來才明白現成專案已經繫結了特定的網域名稱,我想通過iis發布只能指定相同的別名才可以。比如我原來的專案已經繫結網域名稱localhost dnn,那麼我將這個專案轉...