深度學習筆記

tensorflow 不僅是乙個實現機器學習演算法的介面，也是一種框架，也可用於線性回歸、邏輯回歸、隨機森林等演算法；

tensorflow 使用資料流圖來規劃計算流程，每個運算操作作為乙個節點 node，節點之間的連線稱為邊，邊中流動的資料稱為張量，故而得名 tensorflow，預算操作可以有自己的屬性，但必須被預先設定，或者能在建立計算圖時被推斷出來；

tensorflow 有一套為節點分配裝置的策略，這是乙個簡單的貪婪策略，不能確保找到全域性最優解，但可以快速找到乙個不錯的節點運算分配方案；

故障出現的兩種情況：一是資訊從傳送節點傳輸到接受節點失敗時，而是週期性的 worker 心跳檢測失敗時；

tensorflow 提供的加速神經網路訓練的平行計算模式：

cnn 具有極強泛化性，最大的特點在於卷積的權值共享結構，能大幅較少神經網路的參數量，防止過擬合的同時降低了神經網路模型的複雜度；

cnn 每個卷基層中對資料的操作：

卷積核的大小即為卷積核擁有的引數多少；

採用區域性連線的方式，參數量得到了縮減；

卷積的好處是不管尺寸如何，我們需要訓練的權值數量只和卷積核大小、卷積核數量有關，可以用極少的參數量處理任意大小的，雖然訓練的引數下降了，但隱含節點數量未下降，隱含節點數量只與卷積的步長相關；

cnn 要點：

lenet5 的特性：

lenet5 有三個卷積層、乙個全連線層和乙個高斯連線層；

vggnet-16 網路結構主要分為 6 部分，前 5 段為卷積網路，最後一段為全連線網路；

檢測系統三個模組：

需要訓練資料的三個階段：

引入 cnn 來分類目標候選框，有很高的目標檢測精度，但有明顯缺點：

訓練 vgg16 網路比 spp-net 快 3 倍，測試速度快 10 倍，比 r-cnn 訓練快 9 倍，測試時間快 213 倍，有 13 個卷積層和 3 個 fc 層；

目標檢測難點：

優點：

網路架構流程：輸入影象和多個感興趣區域 roi，傳送到全卷積網路，經池化到固定大小的特徵圖中，然後通過全連線層 fc 對映到特徵向量，網路對每個 roi 具有兩個輸出向量：softmax 概率和每類檢測框回歸偏移量；

faste r-cnn 實現了接近實時檢測的速率，但忽略了生成區域提案框的時間，faster r-cnn 演算法通過將 rpn 網路整合到目標檢測網路中共享卷積層，縮減了生成區域提案框的時間，計算提案框的邊界成本小；

rpn 是一種全卷積網路 fcn，可以針對生成檢測提案框的任務端到端訓練；

rpn 中引入新「錨點」作為多尺度和縱橫比的參考，避免了列舉多個尺度或縱橫比得影象或卷積；

為統一 rpn 和 fast r-cnn 網路，提出一種訓練方案：保持提案框固定，微調區域提案和微調目標檢測之間交替進行；

組成模組：

rpn 將乙個任意大小的影象作為輸入，輸出矩形目標提案框的集合，每個框由乙個 objectness 得分；

為生成區域提案框，在最後乙個共享的卷積層輸出的卷積特徵對映上滑動小網路，網路連線到輸入卷積特徵對映的 n*n 的空間視窗，每個滑動視窗對映到乙個低維向量上，向量在輸出給兩個同級的全連線的層：檢測框回歸層 reg 和檢測框分類層 cls；

多尺度**方式：

具有共享特徵的網路的解決方案：

cls 檢測框分類層得分是排名最高的提案框準確的原因；