1、前饋神經網路
前饋神經網路描述的是網路的結構，是指每一層的神經元只接受前一層神經元的輸入，並且輸出到下一層。
2、bp神經網路
3、mlp
mlp是多層感知機也被稱為多層神經網路，是一種前向結構，包括輸入層、隱藏層和輸出層。至少三層結構（即隱藏層只有一層網路），如圖所示
4、cnn
cnn就是著名的卷積神經網路，是一種前饋神經網路。cnn不同於前面的網路只有線性連線，cnn包括卷積（convolution）操作，匯合（pooling）操作和非線性啟用函式對映（即線性連線）。經典的cnn網路有alex-net、vgg-nets、network-in-network等
5、rnn
rnn是迴圈神經網路
6、啟用函式
啟用函式又稱為非線性對映函式，將神經元的輸入對映到輸出。常用的啟用函式包括：sigmoid型函式、tanh(x)型函式、relu（修正線性單元）、leaky relu、引數化relu、隨機化relu和elu（指數化線性單元）
7、目標函式
目標函式是計算**結果和真是結果的誤差。目標函式可以分為分類任務的目標函式和回歸任務的目標函式
分類任務的目標函式包括：交叉熵損失函式、合頁損失函式、坡道損失函式、大間隔交叉熵損失函式、中心損失函式。
回歸任務的目標函式包括：l1損失函式、l2損失函式、tukey's biweight損失函式。
8、優化演算法
常用的網路模型優化演算法包括：隨機梯度下降法、基於動量的隨機梯度下降法、nesterov型動量隨機下降法、adagrad法、adadelta法、rmsprop法、adam法。
9、超引數
神經網路主要超引數包括：輸入影象畫素、學習率、正則化引數、神經網路層數、批處理大小、卷階層引數（卷積核大小、卷積操作步長、卷積核個數）、匯合層引數（匯合核大小、匯合步長）、目標函式、優化演算法、啟用函式、學習週期等。
**：
神經網路基礎知識（神經網路簡介）
一 生物神經網路 神經元的排列和突觸的強度 由複雜的化學過程決定 確立了神經網路的功能。突觸有兩種型別，興奮性突觸和抑制性突觸。前者產生正突觸後電位，後者產生負突觸後電位。抑制性 神經元雖然接收到其他神經元傳遞的資訊，但沒有向外傳遞資訊，該神經元稱 抑制性 的 興奮性 當乙個神經元的樹突接收的興奮資...
神經網路基礎知識收集
更新中 1 神經網路 人工神經網路 artificial neural network，ann 是指一系列受生物學和神經學啟發的數學模型。這些模型主要是通過對人腦的神經元網路進行抽象，構建人工神經元，並按照一定拓撲結構來建立人工神經元之間的連線，來模擬生物神經網路。在人工智慧領域，人工神經網路也常常...
神經網路的基礎知識
前饋神經網路是最早被提出的神經網路，熟悉的單層感知機，多層感知機，卷積深度網路等都屬於前饋神經網路，之所以叫前饋，可能是因為資訊向前流 資料從輸入 計算 輸出步驟。像rnn有反饋連線的叫反饋神經網路。如圖 乙個典型的神經元模型 包含n個輸入，1個輸出，計算功能 先求和，再將結果送入f啟用函式中 圖中...