1、senet（squeeze-and-excitation networks）
- **的動機是從特徵通道之間的關係入手，希望顯式地建模特徵通道之間的相互依賴關係。另外，沒有引入乙個新的空間維度來進行特徵通道間的融合，而是採用了一種全新的「特徵重標定」策略。具體來說，就是通過學習的方式來自動獲取到每個特徵通道的重要程度，然後依照這個重要程度去增強有用的特徵並抑制對當前任務用處不大的特徵，通俗來講，就是讓網路利用全域性資訊有選擇的增強有益feature通道並抑制無用feature通道，從而能實現feature通道自適應校準。
- 核心：擠壓和激勵
2、residual attention network
- 可堆疊的網路結構，堆疊residual attention module結構
- 基於attention的殘差學習方式。attetion機制：下取樣和上取樣而已
影象分類網路發展：
alexnet
zfnet
vgg net
googlenet
resnet
densenet
senet（new）
residual attention network（new）
squeezenet
1、將標準卷積分解成深度卷積和逐點卷積，大幅降低參數量和計算量。
標準卷積：輸入的第m個通道對應第n個卷積核的m通道，將各通道計算結果相加，得到輸出結果的第n個通道。（每三相加）
深度卷積：輸入中第m個通道作用第m個深度卷積核，產生輸出特徵內的第m個通道。（每跳三相加）
2、網路結構：
3×3 depthwise conv（conv dw） -> bn -> relu -> 1*1 conv -> bn -> relu
比標準卷積層多了1×1 conv，
3、寬度因子，用於控制輸入和輸出的通道數;解析度因子，用於控制輸入的解析度。
mobilenetv2：
加入了線性bottlenecks和反轉殘差模組構成了高效的基本模組
mobilenetv2:
mobilenetv1: dw -> pw -relu>
mobilenetv2: pw -relu> dw -> pw -linear>
v2前面多個pw是為了提公升通道數，獲取更多特徵。最後採用linear目的使防止relu破換特徵。
mobilenetv3：
1、綜合了以下三種模型的思想：mobilenetv1的深度可分離卷積（depthwise separable convolutions）、mobilenetv2的具有線性瓶頸的逆殘差結構(the inverted residual with linear bottleneck)和mnasnet的基於squeeze and excitation結構的輕量級注意力模型。
2、互補搜尋技術組合：由資源受限的nas執行模組級搜尋，netadapt執行區域性搜尋。
3、網路結構改進：將最後一步的平均池化層前移並移除最後乙個卷積層，引入h-swish啟用函式。
shufflenet:
1、群卷積（通道混洗shuffle unit）和深度可分卷積
condensenet:
1、引入卷積group操作，而且在1*1卷積中引入group操作時做了改進。
2、訓練一開始就對權重做剪枝，而不是對訓練好的模型做剪枝。
3、在densenet基礎上引入跨block的dense連線。
從squeezenet開始模型的參數量就不斷下降，為了進一步減少模型的實際運算元（madds），mobilenetv1利用了深度可分離卷積提高了計算效率，而mobilenetv2則加入了線性bottlenecks和反轉殘差模組構成了高效的基本模組。隨後的shufflenet充分利用了組卷積和通道shuffle進一步提高模型效率。condensenet則學習保留有效的dense連線在保持精度的同時降低，shiftnet則利用shift操作和逐點卷積代替了昂貴的空間卷積。
網路簡化的發展歷程：
多個不同尺寸的卷積核，提高對不同尺度特徵的適應能力。
pw 卷積，降維或公升維的同時，提高網路的表達能力。
多個小尺寸卷積核替代大卷積核，加深網路的同時減少參數量。
精巧的 bottleneck 結構，大大減少網路參數量。
精巧的 depthwise separable conv 設計，再度減少參數量。
pointwise convolution，俗稱叫做 1x1 卷積，簡寫為 pw，主要用於資料降維，減少參數量。
也有使用 pw 做公升維的，在 mobilenet v2 中就使用 pw 將 3 個特徵圖變成 6 個特徵圖，豐富輸入資料的特徵。
使用多個小卷積核替代大卷積核 的方法，這就是 inception v3。
xception（極致的 inception）：先進行普通卷積操作，再對 1×11×1 卷積後的每個channel分別進行 3×33×3 卷積操作，最後將結果 concat。
深度網路模型壓縮綜述
文獻 雷傑,高鑫,宋杰,王興路,宋明黎.深度網路模型壓縮綜述 j 軟體學報,2018,29 02 251 266.摘要 深度網路近年來在計算機視覺任務上不斷重新整理傳統模型的效能,已逐漸成為研究熱點.深度模型儘管效能強大,然而由於引數數量龐大 儲存和計算代價高,依然難以部署在受限的硬體平台上 如移動...
服飾分類的神經網路模型
僅作學習使用 fashion mnist 資料集，其中包含 70,000 張灰階影象。我們使用了其中的 60,000 張影象訓練網路，並使用剩餘的 10,000 張測試網路效果。為了將這些影象提供給神經網路，我們需要將 28 28 影象扁平化為有 784 個元素的一維向量。我們的網路包括乙個全連線層...
Linux網路（網路模型和收發流程）
為了解決網路互聯中異構裝置的相容性問題，並解耦複雜的網路包處理流程，國際標準化組織制定的開放式系統互聯通訊參考模型 open system interconnection reference model 簡稱為 osi 網路模型。osi 模型把網路互聯的框架分為應用層 表示層 會話層 傳輸層 網路層...