先驗知識：
快速傅利葉變換
第二章：
概念：
loss function = data loss + regulation loss
三維張量：xl
∈rhl
∗wl∗
dlx l∈
rhl∗
wl∗d
l,用三元組(i
l,jl
,dl)
( il
,jl,
dl
)表示該張量對應第il
i
l行，第jl
j
l列，第dl
d
lchannel的位置
四維張量：xl
∈rhl
∗wl∗
dl∗n
x l∈
rhl∗
wl∗d
l∗
n,n表示mini-batch每一批樣本的個數
卷積(convolution)：卷積操作可獲取影象區域不同型別特徵。
匯合(pooling)：匯合等操作可對這些特質進行融合和抽象。
卷積核(convolution keras),啟用函式(activation function)，感受野(receptive filed)
多層卷積匯合等操作的堆疊，各層得到的深層特徵逐漸從泛化特徵（邊緣紋理）過度到高層語義表示。
第三章：
感受野：神經元只接受其所支配的刺激區域內的訊號
小卷積核的優勢：
[1]小卷積核需多層疊加，加深了網路深度進而加強了網路容量核複雜度
[2]增強網路容量的同時減少了引數個數
分布式表示：每個語義概念由許多分布在不同神經元中被啟用的模式表示；而每個神經元又可以參與到許多不同語義概念的表達中去。
解釋：一張中的某個目標物體可以由很多卷積核(神經元)啟用後的特徵圖表示；而每個神經元又可以給多張不同的目標做卷積。
第四章：
模型壓縮：均旨在將乙個龐大而複雜的預訓練模型 (pre-trained model)轉化為乙個精簡的小模型。
前端壓縮：是指不改變原網路結構的壓縮 技術，主要包括知識蒸餾、緊湊的模型結構設計以及濾波器層面的剪枝等;
後端壓縮：則包括低秩近似、未加限制的剪枝、引數量化以及二值網路等，其目標在於盡可能地減少模型大小，因而會對原始網路結構造成極大程度的改造。
4.1低秩近似
方法：結構化矩陣來進行低秩分解，矩陣分解來降低權重矩陣的引數
4.2剪枝與稀疏約束
剪枝演算法的操作流程：
4.3引數量化
卷積神經網路筆記
一 卷積神經網路基礎 cnn是一種空間上共享引數的神經網路，它通過正向和反向傳播，自己學習識別物體。它可能有幾層網路構成，第一層是抽象層次的最底層，cnn一般把中的較小的部分識別成簡單的形狀，下一層將會上公升到更高的抽象層次，一般會識別更複雜的概念，以此類推，直至識別整個物體。cnn的學習方式 層次...
卷積神經網路筆記
卷積神經網路依舊是乙個可導的評分函式，該函式輸入為原始影象畫素，輸出是不同類別的評分。並假設輸入資料是影象，基於該假設，向結構中新增一些特有性質。常規神經網路的輸入是乙個向量，對大尺寸影象效果不好，效率低下，大量引數導致網路過擬合。神經元的各層三維排列 寬度，高度和深度 深度是指啟用函式資料體的第3...
神經網路數學基礎 卷積神經網路 部分實戰訓練
神經網路的數學基礎 1.矩陣線性變換 起到尺度和旋轉上的變化，w x與公升降維 放大縮小相關，b與平移相關 與彎曲相關 2.矩陣的秩 秩越低，資料分布越容易 捉，相關性大 奇異值 低秩近似 保留決定資料分布最主要的模式 方向 3.概率 概率分布 似然函式 對數似然函式 最大對數似然 4.策略設計 機...