啟用函式
一般來講每個神經元都可以對應乙個啟用函式，簡言之，啟用函式就是模擬資訊在神經元之間傳遞的啟用或者抑制狀態。當資訊達到了啟用函式的閾值，該資訊將神經元啟用，否則神經元處於抑制狀態。這裡，啟用函式的另一作用就是將神經元的輸出「標準化」，防止資訊過於膨脹。
啟用函式用來表述cnn的非線性度，對多層網路檢測非線性特徵十分理想。
損失函式
將資料輸入，將神經網路的輸出與歷史資料的標籤最對對比訓練。因為新建立的網路沒有受過訓練，必然會出錯。為解決之一問題，構建損失函式來顯示輸出資料與真實資料的差異。理想情況下，不斷訓練，損失函式無限接近於0，這就達到了最佳的訓練目的。
減小損失函式的方法-----梯度下降法
我們的任務就是尋找損失函式的最小值，在每次資料集迭代之後，該方法以使目標函式值下降最快的方式改變網路權重，而這種使目標函式下降最快的方法就是用梯度來確定函式最快的下降方向，這樣我們就知道最小值在那個方向。
學習速率
為了使損失函式不斷趨於0，需要計算梯度和步長，即學習速率，來多次迭代資料集推動網路引數的不斷優化。每次迭代資料集後，利用梯度下降法訓練體哦阿正神經元之間的權重，來減少損失函式，最終得到乙個訓練好的深度神經網路。
神經網路的學習過程
過程就是根據訓練資料來學習合適的連線權重(connection weight)和功能神經元的閾值。
權值就是模型的引數，也就是模型要學習的東西。
權值共享
生成特徵圖的卷積核是相同的。權值共享模式可以減少模型的複雜度，使網路更容易訓練。
超引數乙個神經網路的連線方式，網路的層數，每層的節點數這些引數，則不是學習出來的，而是人為事先設定的，這類引數稱為超引數。
神經網路訓練方法----反向傳播演算法
它是計算深度學習模型引數梯度的方法。總的來說，反向傳播會依據微積分中的鏈式法則，按照輸入層，靠近輸出層的隱含層，靠近輸入層的隱含層和輸入層的次序，計算並儲存模型損失函式有關模型各層的中間變數的引數的梯度。
應用鏈式求導法則的誤差反向傳播演算法（bp）
通過不斷修正網路引數，求得輸出層節點的誤差平方和的最小值。
包括資訊的正向傳播和誤差的反向傳播過程，主要解決正向傳播演算法中難以直接計算隱含層誤差的問題。
正向傳播過程是逐層迭代計算出各單元的輸出值。
反向傳播過程是根據網路輸出的誤差，按誤差梯度下降的方式，將誤差進行逐層回代，修正每一層的權值。
區域性感知
也稱稀疏連線。在處理影象這樣的高緯度輸入時，讓每個神經元與前一層的所有神經元進行全連線是不現實的。相反，每個神經元只與輸入資料的區域性區域進行連線。該連線的空間大小叫作神經元的感知野。然後在更高層將區域性的資訊綜合起來就得到了全域性的資訊。
第一章 迴圈神經網路簡介
1 簡單介紹 我們知道在機器學習領域中，傳統的神經網路模型是從輸入層到隱藏層再到輸出層，層與層之間是全連線的，而每層之間的節點是無連線的，它的弊端我在這裡就不再贅述。我們主要介紹rnn，他為什麼稱為迴圈神經網路呢？因為它的每乙個輸出序列都與前面的輸出序列有關。具體表現在該網路會記錄前面的資訊並應用到...
第一章（1） 神經網路如何工作
恢復內容開始 1.1 尺有所短，寸有所長 問題計算機 人類快速的對成千上萬的大數字進行計算 簡單困難 在一大群人的 中尋找面孔 困難簡單 1.2 器 1.所有有用的計算機系統都有乙個輸入和輸出，並在輸入和輸出之間進行某種型別的計算，神經網路也是如此。2.機器接受了乙個輸入，並作出應有的 輸出結果。我...
第一章 網路架構名詞總結
梳理一下學習的 無線側接入網 承載網 核心網架構 下圖以一張網路架構簡圖來認識一下全網的網路架構，通過對全網架構的了解，以便後續對每一塊網路細節的了解。參考 網路架構 接入 承載 核心網介紹 oan 光接入網路 optical access network 就是以光為傳輸介質的接入網路，替代銅線，用...