深度學習工具
目標檢測——深度模型總結
深度學習興起，源於以下3個方面：
傳統機器學習在處理原始形態的自然資料方面存在很大的侷限性。它需要技藝高超的工程師和經驗豐富的領域專家設計特徵提取器，將原始資料轉化為合適的中間表示形式或特徵向量，學習子系統，即分類器，然後對輸入模型進行檢測或分類。
而深度學習較傳統機器學習的一大優勢是：它不需要人工設計特徵提取器，而是讓機器自動學習，然後獲取特別適用於變化多端的自然資料。故其具有非常優良的泛化能力和魯棒性。
深度學習源於表示學習系統。它是多層表示學習方法，用簡單的非線性模組構建而成，這些模組將上一層，即從原始資料開始，轉化為更高層、更抽象的表示。如果乙個學習系統是由足夠多的簡單的非線性模組構建是，便具有了學習非常複雜的能力。
對分類問題，高層表示能強調重要的類別資訊，同時抑制無光的背景資訊。以影象資訊為例，利用神經網路，得到的每層特徵資訊總結如下：
深度學習的關鍵：上述每一層特徵不是專家設計的，而是使用通用學習方法自動從資料中學到的。而這些特徵也是人類無法預估的，完全由機器決定哪些特徵是需要的，哪些是抑制的。深度學習只需少量人工介入，非常適合大規模計算系統和海量資料。它將會用在將來生活的方方面面。
機器學習中，應用最普遍的形式是監督學習。監督學習其框架（流程）：收集資料集（打標籤，預處理等） –> 訓練分類器（分類器選擇，訓練標準，調參等） –> 得到模型 –> 評估模型（擬合，泛化能力等） –> 調整，重複訓訓練。
深度學習框架：將簡單模組多層堆疊，多數模組具備學習能力，能計算非線性輸入-輸出對映。通過將每個模組的輸入進行變換，提高可選擇性和表示的不變形。通過多個非線性層組成的系統可實現非常複雜的函式，能夠對類間差異敏感，而對類內差異不敏感。
卷積神經網路具有訓練簡單，泛化能力較強，是一種深度前饋神經網路。其典型特點：區域性互聯、權值共享、下取樣和多個卷積層。其中權值共享可減少引數數目，下取樣能夠保持區域性不變性，多特徵圖允許不同卷積核作為不同特徵提取器，訓練時可使用反向傳播演算法。
卷積神經網路由兩種層構成：卷積層和下取樣層。卷積層的單元組織為特徵圖，每個單元通過一組濾波器組的權值連線到上一層特徵圖的區域性小塊。而區域性小塊的加權和將被非線性單元處理。同一特徵圖的所有單元共享同一套濾波器，而同一層的不同特徵圖使用不同的濾波器組。其原因：在一組類似影象的資料中，區域性畫素塊具有高度相關性，形成不同的、易檢測的基本圖案；影象和其他訊號的區域性統計具有位置無關性。即，如果影象中存在某個基本圖案，則該圖案可能出現在任意位置，那麼不同位置單元共享相同權值可實現在資料的不同位置檢測相同「模式」。一張特徵圖執行的濾波器操作在數學上表示為離散卷積。
卷積層的任務是檢測前一層的區域性連線特徵，而下取樣是將語義相似的特徵融合為乙個。由於相對位置特徵形成乙個基本團可能會有些變化，可靠檢測該圖案可以使用粗粒度位置實現。
下取樣的方式主要有：取最大值，取平均值，取隨機值等。下取樣可以降低表示維度，在一定程度上，對平移，形變不敏感。
卷積層-非線性層-下取樣層堆疊為乙個基本處理棧，在乙個完整的網路中可以重複多個基本處理棧後再接入更多的卷積層或全連線層。卷積網路的梯度反向傳播過程與普通深度網路一樣簡單，所有濾波器組的權值都能得到訓練。
深度神經網路具有很多自然訊號具有復合結構的特性。高層特徵可通過低層特徵組合得到。影象中，稜邊經過區域性組合可構成基本圖案，而基本圖案組合成部件，部件又構成了物體等相似結構。下取樣保證新的特徵層表示不敏感於前一層元素在位置和表現上的變化。
深度學習也存在一些難題。如調參技巧，模型訓練，模型判斷等。在訓練過程中，模型可呈現下面三種狀態：
選擇模型處理資料需考慮：越大的模型，越難訓練，需要匹配的資料量越大，需通過避免過擬合的方法來訓練理想模型。可通過先選擇較大資料集進行訓練，得模型，然後在用特定資料集進行精調，來得到較為理想的模型。
參考文獻：深度學習 21天實站caffe
深度學習 21天實戰Caffe
幫助 內容簡介 深度學習 21天實戰caffe 是一本深度學習入門讀物。以目前已經大量用於線上系統的深度學習框架caffe為例，由淺入深，從 caffe 的配置 部署 使用開始學習，通過閱讀 caffe 原始碼理解其精髓，加強對深度學習理論的理解，最終達到熟練運用 caffe 解決實際問題的目的。和...
深度學習 caffe入門學習
目錄下有個caffe.exe net examples mnist lenet train test.prototxt 定義網路結構檔案，也就是我們上一步編寫的檔案 test iter 100 test interval 500 每隔500次用測試資料，做一次驗證 base lr 0.01 學習率 ...
深度學習caffe搭建
經過乙個月的時間，從開始接觸深度學習到環境搭建終於成功了！發表第一篇部落格 慶祝一下 按照21天實戰caffe 進行架構搭建出現的錯誤大致的解決辦法，ubuntu用的是14.04 按照裡面第三天的要求進行操作 後來到第五天發現這些依賴包沒什麼用 直接到第5天 protobuffer 出現錯誤 caf...