前言：本筆記作為自己學習的記錄，主要關注的機器學習的演算法如何在工業上落地實現研究。
上述模型不一定當前最好的移植到移動端模型，但是大部分都能夠比較有效。
這裡需要介紹的模型是squeezenet
作為輕量級模型的代表，是由伯克利和斯坦福的研究院在iclr 2017的發表的工作。該模型中使用大量的1×1卷積，卷積核大小為1的卷積主要的用途是降維，保證了模型在一層的計算量遠遠小於3×3的卷積計算。也使得下一層的輸入通道數大大減少， 在一定程度上也使得引數量減少。
相對於squeezenet而言，mobilenet採用卷積的可乘性，將我們的n×n的卷積拆分為n×1和1×n作為替換。在v2版本中加入了1×1卷積進行降維計算，主要思想**於resnet。
深度學習筆記
在深度神經網路中，通常使用一種叫修正線性單元 rectified linear unit，relu 作為神經元的啟用函式。relu函式其實是分段線性函式，把所有的負值都變為0，而正值不變，這種操作被成為單側抑制。可別小看這個簡單的操作，正因為有了這單側抑制，才使得神經網路中的神經元也具有了稀疏啟用性...
深度學習筆記
如果沒有啟用函式，或則是線性啟用函式，g z z,那麼在深度神經網路中，相當於都做的是線性變換，多個線性變換的組合還是線性變換。這樣的結果和邏輯回歸沒什麼區別，也就是說，這種情況下，無論神經網路的深度有多深，也就等價於乙個一層的網路，隱藏層沒什麼作用。因此需要非線性啟用函式。1.什麼時候插入，ski...
深度學習筆記
tensorflow 不僅是乙個實現機器學習演算法的介面，也是一種框架，也可用於線性回歸 邏輯回歸 隨機森林等演算法 tensorflow 使用資料流圖來規劃計算流程，每個運算操作作為乙個節點 node，節點之間的連線稱為邊，邊中流動的資料稱為張量，故而得名 tensorflow，預算操作可以有自己...