前言
神經網路主要圍繞以下四個方面：
1）層，多個層組合成網路（或模型）
2）輸入資料和相應的目標
3）損失函式，即用於學習的反饋訊號
4）優化器，決定學習過程如何進行
1. 層
神經網路的基本資料結構是層。層是乙個資料處理模組，將乙個或多個輸入張量轉換為乙個或多個輸出張量。有些層是無狀態的，但大多數的層是有狀態的，即層的權重。權重是利用隨機梯度下降學到的乙個或多個張量，其中包括網路的知識。
簡單的向量資料儲存在形狀為 (samples, features) 的2d張量中，通常用密集連線層（也叫全連線層或密集層，對應於keras的dense類）來處理；
序列資料儲存在形狀為 (samples, timesteps, features) 的3d張量中，通常用迴圈層（比如keras的lstm層）來處理；
影象資料儲存在4d張量中，通常用二維卷積層（keras的conv2d）來處理。
2. 模型：層構成的網路
深度學習模型是層構成的有向無環圖。最常見的例子就是層的線性堆疊，將單一輸入對映為單一輸出。
其他常見的網路拓撲結構還包括：
3. 損失函式和優化器
具有多個輸出的神經網路可能有多個損失函式（每個輸出對應乙個損失函式）。但是，梯度下降過程必須基於單個標量損失值。因此，對於具有多個損失函式的網路，需要將所有損失函式取平均，變為乙個標量值。
一些經驗：
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
神經網路簡介 多層神經網路
如上圖所示，該神經網路有三層。我們標記第一層 也就是輸入層 為a 1 第一層與第二層連線權重為w 1 然後第一層輸入與第一層權重的線性和為z 1 第一層神經元個數為n 1 並依次標記剩餘網路層。可以看出，存在 z l j i 1 n l a l i w l i,j a l w l j a l 1 f...