深度學習興起，源於以下3個方面：
傳統機器學習在處理原始形態的自然資料方面存在很大的侷限性。它需要技藝高超的工程師和經驗豐富的領域專家設計特徵提取器，將原始資料轉化為合適的中間表示形式或特徵向量，學習子系統，即分類器，然後對輸入模型進行檢測或分類。
而深度學習較傳統機器學習的一大優勢是：它不需要人工設計特徵提取器，而是讓機器自動學習，然後獲取特別適用於變化多端的自然資料。故其具有非常優良的泛化能力和魯棒性。
深度學習源於表示學習系統。它是多層表示學習方法，用簡單的非線性模組構建而成，這些模組將上一層，即從原始資料開始，轉化為更高層、更抽象的表示。如果乙個學習系統是由足夠多的簡單的非線性模組構建是，便具有了學習非常複雜的能力。
對分類問題，高層表示能強調重要的類別資訊，同時抑制無光的背景資訊。以影象資訊為例，利用神經網路，得到的每層特徵資訊總結如下：
深度學習的關鍵：上述每一層特徵不是專家設計的，而是使用通用學習方法自動從資料中學到的。而這些特徵也是人類無法預估的，完全由機器決定哪些特徵是需要的，哪些是抑制的。深度學習只需少量人工介入，非常適合大規模計算系統和海量資料。它將會用在將來生活的方方面面。
機器學習中，應用最普遍的形式是監督學習。監督學習其框架（流程）：收集資料集（打標籤，預處理等） –> 訓練分類器（分類器選擇，訓練標準，調參等） –> 得到模型 –> 評估模型（擬合，泛化能力等） –> 調整，重複訓訓練。
深度學習框架：將簡單模組多層堆疊，多數模組具備學習能力，能計算非線性輸入-輸出對映。通過將每個模組的輸入進行變換，提高可選擇性和表示的不變形。通過多個非線性層組成的系統可實現非常複雜的函式，能夠對類間差異敏感，而對類內差異不敏感。
卷積神經網路具有訓練簡單，泛化能力較強，是一種深度前饋神經網路。其典型特點：區域性互聯、權值共享、下取樣和多個卷積層。其中權值共享可減少引數數目，下取樣能夠保持區域性不變性，多特徵圖允許不同卷積核作為不同特徵提取器，訓練時可使用反向傳播演算法。
卷積神經網路由兩種層構成：卷積層和下取樣層。卷積層的單元組織為特徵圖，每個單元通過一組濾波器組的權值連線到上一層特徵圖的區域性小塊。而區域性小塊的加權和將被非線性單元處理。同一特徵圖的所有單元共享同一套濾波器，而同一層的不同特徵圖使用不同的濾波器組。其原因：在一組類似影象的資料中，區域性畫素塊具有高度相關性，形成不同的、易檢測的基本圖案；影象和其他訊號的區域性統計具有位置無關性。即，如果影象中存在某個基本圖案，則該圖案可能出現在任意位置，那麼不同位置單元共享相同權值可實現在資料的不同位置檢測相同「模式」。一張特徵圖執行的濾波器操作在數學上表示為離散卷積。
卷積層的任務是檢測前一層的區域性連線特徵，而下取樣是將語義相似的特徵融合為乙個。由於相對位置特徵形成乙個基本團可能會有些變化，可靠檢測該圖案可以使用粗粒度位置實現。
下取樣的方式主要有：取最大值，取平均值，取隨機值等。下取樣可以降低表示維度，在一定程度上，對平移，形變不敏感。
卷積層-非線性層-下取樣層堆疊為乙個基本處理棧，在乙個完整的網路中可以重複多個基本處理棧後再接入更多的卷積層或全連線層。卷積網路的梯度反向傳播過程與普通深度網路一樣簡單，所有濾波器組的權值都能得到訓練。
深度神經網路具有很多自然訊號具有復合結構的特性。高層特徵可通過低層特徵組合得到。影象中，稜邊經過區域性組合可構成基本圖案，而基本圖案組合成部件，部件又構成了物體等相似結構。下取樣保證新的特徵層表示不敏感於前一層元素在位置和表現上的變化。
深度學習也存在一些難題。如調參技巧，模型訓練，模型判斷等。在訓練過程中，模型可呈現下面三種狀態：
選擇模型處理資料需考慮：越大的模型，越難訓練，需要匹配的資料量越大，需通過避免過擬合的方法來訓練理想模型。可通過先選擇較大資料集進行訓練，得模型，然後在用特定資料集進行精調，來得到較為理想的模型。
深度學習初步了解
深度學習是機器學習的一種技術。這裡的 深度 應當是指結構上包含若干順次 連線 的 層 輸入層 輸出層 隱藏層等 輸入層代表外部的輸入，輸出層代表程式的輸出，夾在它們中間在程式執行時不展示的，統稱隱藏層。資料每到達新的 層 都要發生相應的變換，這種輸入和輸出之間關係確定的變換，就是 層 之間 連線 的...
機器學習初步了解
重點內容 對機器學習的理解，所謂機器學習，就是機器從資料中學習，機器從資料中學出規律，然後運用到新的資料中，在機器學習中，前者稱為訓練集，後者稱為測試集。學機器學習，我們第乙個往往學的是線性回歸 linear regression 在這裡，我從吳恩達教授講的例子說起，吳恩達講的是乙個房屋 與面積的關...
初步了解機器學習
1 特徵工程 2 train和test資料分割 3 模型訓練 4 5 交叉驗證 6 搜尋最優引數 我們以處理鳶花尾資料為例進行學習 首先是載入項 from future import print function 預先配置好的鳶尾花資料集 from sklearn.datasets import l...