本質上，深度學習提供了一套技術和演算法，這些技術和演算法可以幫助我們對深層神經網路結構進行引數化——人工神經網路中有很多隱含層數和引數。深度學習背後的乙個關鍵思想是從給定的資料集中提取高層次的特徵。因此，深度學習的目標是克服單調乏味的特徵工程任務的挑戰，並幫助將傳統的神經網路進行引數化。
現在，為了引入深度學習，讓我們來看看乙個更具體的例子，這個例子涉及多層感知器(mlp)。
在mlp中，「感知器」這個詞可能有點讓人困惑，因為我們並不想只在我們的網路中使用線性神經元。利用mlp，我們可以學習複雜的函式來解決非線性問題。因此，我們的網路通常由連線輸入和輸出層的乙個或多個「隱藏」層組成。這些隱藏的層通常有某種s型的啟用函式(logs-s形或雙曲正切等)。例如，在我們的網路中，乙個邏輯回歸單元，返回0-1範圍內的連續值。乙個簡單的mlp看起來就像這樣：
其中y是最終的類標籤，我們返回的是基於輸入x的**，「a」是我們啟用的神經元，而「w」是權重係數。現在，如果我們向這個mlp新增多個隱藏層，我們也會把網路稱為「深度」。這種「深度」網路的問題在於，為這個網路學習「好」的權重變得越來越難。當我們開始訓練我們的網路時，我們通常會將隨機值賦值為初始權重，這與我們想要找到的「最優」解決方案很不一樣。在訓練過程中，我們使用流行的反向傳播演算法(將其視為反向模式自動微分)來傳播從右到左的「錯誤」，並計算每乙個權重的偏導數，從而向成本(或「錯誤」)梯度的相反方向邁進。現在，深度神經網路的問題是所謂的「消失梯度」——我們新增的層越多，就越難「更新」我們的權重，因為訊號變得越來越弱。由於我們的網路的權重在開始時可能非常糟糕(隨機初始化)，因此幾乎不可能用反向傳播來引數化乙個具有「深度」的神經網路。
這就是深度學習發揮作用的地方。粗略地說，我們可以把深度學習看作是一種「聰明」的技巧或演算法，可以幫助我們訓練這種「深度」神經網路結構。有許多不同的神經網路結構，但是為了繼續以mlp為例，讓我來介紹卷積神經網路(cnn)的概念。我們可以把它看作是我們的mlp的「附加元件」，它可以幫助我們檢測到我們的mlp「好」的輸入。
在一般機器學習的應用中，通常有乙個重點放在特徵工程部分;演算法學習的模型只能是和輸入資料一樣好。當然，我們的資料集必須要有足夠多的、具有辨別能力的資訊，然而，當資訊被淹沒在無意義的特徵中，機器學習演算法的效能就會受到嚴重影響。深度學習的目的是從雜亂的資料中自動學習;這是一種演算法，它為我們提供了具有意義的深層神經網路結構，使其能夠更有效地學習。我們可以把深度學習看作是自動學習「特徵工程」的演算法，或者我們也可以簡單地稱它們為「特徵探測器」，它可以幫助我們克服一系列挑戰，並促進神經網路的學習。
讓我們在影象分類的背景下考慮乙個卷積神經網路。在這裡，我們使用所謂的「接收域」(將它們想象成「視窗」)，它們會經過我們的影象。然後，我們將這些「接受域」(例如5×5畫素的大小)和下一層的1個單元連線起來，這就是所謂的「特徵圖」。在這個對映之後，我們構建了乙個所謂的卷積層。注意，我們的特徵檢測器基本上是相互複製的——它們共享相同的權重。它的想法是，如果乙個特徵檢測器在影象的某個部分很有用，它很可能在其他地方也有用，與此同時，它還允許用不同的方式表示影象的各個部分。
接下來，我們有乙個「池」層，在這個層中，我們將我們的特徵對映中的相鄰特徵減少為單個單元(例如，通過獲取最大特徵，或者對其進行平均化)。我們在很多測試中都這樣做，最終得出了我們的影象的幾乎不不變的表示形式(確切的說法是「等變數」)。這是非常強大的，因為無論它們位於什麼位置，我們都可以在影象中檢測到物件。
本質上，cnn這個附加元件在我們的mlp中充當了特徵提取器或過濾器。通過卷積層，我們可以從影象中提取有用的特徵，通過池層，我們可以使這些特徵在縮放和轉換方面有一定的不同。
機器學習和深度學習有什麼區別
機器學習 machine learning,ml 是一門多領域交叉學科，涉及概率論 統計學 逼近論 凸分析 演算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能。它是人工智慧的核心，是使計算機具有智慧型的根本途徑，...
談談深度學習和機器學習
嚴格意義上講，深度學習屬於機器學習，所以這裡的機器學習嚴格意義上說，應該叫傳統意義的機器學習 基於概率統計的機器學習。在我讀研的時候，已經判斷機器學習會在後幾年火熱起來，但是，由於alphago的 攪局 這一時間點提前了，著實讓我有些狼狽的追趕，但是好歹也算是找到了機器學習的工作，雖然其中有一些彎路...
傳統機器學習和深度學習
托馬斯 貝葉斯 thomas bayes 同學的詳細生平在這裡。以下摘一段 wikipedia 上的簡介 所謂的貝葉斯方法源於他生前為解決乙個 逆概 問題寫的一篇文章，而這篇文章是在他死後才由他的一位朋友發表出來的。在貝葉斯寫這篇文章之前，人們已經能夠計算 正向概率 如 假設袋子裡面有n個白球，m個...