1.1 四層全連線網路如下：
網路參數量的計算：
輸入為n個節點，輸出為m個節點。每個連線具有乙個權重w(n*m個權重)，且要加上乙個常量b（m個）。因此一層的總參數量為n*m+m。
構建模型程式如下：
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers,sequential,losses,optimizers,datasets
#......# 此處插入記憶體按需分配**
# 建立 4 層全連線網路
model = keras.sequential([
layers.dense(256, activation='relu'),
layers.dense(256, activation='relu'),
layers.dense(256, activation='relu'),
layers.dense(10),
])# build 模型，並列印模型資訊
model.build(input_shape=(4, 784))
model.summary()
該部分**需要插入上述**的建模前面！！！
# 將tensorflow 的視訊記憶體使用方式設定為按需分配
gpus = tf.config.experimental.list_physical_devices('gpu')
if gpus:
try:
# 設定 gpu 視訊記憶體占用為按需分配
for gpu in gpus:
tf.config.experimental.set_memory_growth(gpu, true)
logical_gpus = tf.config.experimental.list_logical_devices('gpu')
print(len(gpus), "physical gpus,", len(logical_gpus), "logical gpus")
except runtimeerror as e:
# 異常處理
print(e)
1.2 區域性相關性
全連線示意圖如下：
這種全連線方式無疑增大了就算計記憶體的使用，深度學習無法向更深層次進行下去。
區域性連線方式：
原理就是僅對一定歐氏距離範圍內的節點進行連線。如下式：
1.3權值共享
如下圖所示，在計算左上角位置的輸出畫素時，使用下式權值引數與對應感受野內部的畫素相乘累加，作為左上角畫素的輸出值。在計算右下方感受野區域時，共享權值引數 w，即使用相同的權值引數 w 相乘累加，得到右下角畫素的輸出值，此時網路層的參數量只有 3*3=9 個，且與輸入、輸出節點數無關。
上述這種區域性連線、權值共享的網路其實就是卷積神經網路。
數學角度分析卷積神經網路：
1.4 卷積
2d離散卷積運算可以用下面幾幅圖形象的描述：
[f*g](-1,-1)=2*5+3*-1+5*0+0*-1=7，將卷積核函式圖向左和向上平移一格如下圖所示：
最終結果如下圖所示：
至此成功完成乙個與卷積核的卷積運算，得到乙個新的。 在深度學習中，權值函式g(m,n)稱為卷積核（kernel）。正是基於卷積運算，卷積神經網路才能如此得名。
1.5 卷積神經網路
單通道輸入，單卷積核：
對應元素相乘再相加放入對應位置，這裡要注意起始紅色框位置的移動，作為特徵值得輸入位置。卷積核矩陣的移動不超過有效畫素矩陣的邊界邊界。
最終結果如下所示：
結論：卷積運算的輸出矩陣大小由卷積核的大小 k，輸入 x 的高寬 h/w，移動步長s，是否填充等因素決定。
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習，聯想起之前所學，感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律，e mc 描述了恆星發光的奧秘，v h d哈勃定律描述了宇宙膨脹的奧秘，自然界的大部分現象和規律都可以用數學函式來描述，也就是可以求得乙個函式。神經網路 簡單又...