neural(牛肉) networks是模擬人體神經元的模型，其輸入輸出類似神經元：
每個樹突都類似輸入值的乙個特徵，細胞核類似隱藏層中的啟用函式，軸突就是輸出值，其中也包含乙個啟用函式，最後末梢就是最後分類的結果。
m-p神經元：
神經元接收到來自n個其他神經元傳遞過來的輸入訊號，這些輸入訊號通過帶權重的鏈結(connection)進行傳遞，神經元接受到的總輸入值講與神經元的閾值進行比較，然後通過activation function處理裡產生神經元的輸出。
感知機 perceptron
有兩層神經元組成，輸入層接受外界輸入訊號後傳遞給輸出層，輸出層是m-p神經元，即「與之邏輯單元」。
感知機容易實現邏輯與，或，非運算。給定訓練資料集，權重wi(i=1,2,…,n)以閾值sita可以通過學習得到。閾值sita可以看作乙個固定輸入為-1.0的啞節點（dummy node）所對應的鏈結權重wn+1，這樣權重和閾值的學習統一為權重的學習。感知機的學習規則簡單：
使誤差最小。
由於感知機只有一層功能神經元(functional neuron)，所以學習能力有限，無法解決非線性問題。
要解決非線性問題，需要使用多層功能神經元。在輸出層與輸入層之間新增一層神經元，即隱含層（hidden layer), hidden layer和out layer都是擁有activation function的functional neuron
常見的神經網路如下：
每層神經元與下一層神經元全互聯，神經元之間不存在同層連線，也不存在跨層連線。這樣的神經網路結構通常成為「多層前饋神經網路"(multi-layer feedforward neural networks)
輸入層神經元接收外界輸入，hidden layer和out layer對訊號加工，最終由out layer 輸出。只要包含hidden layer即可成為多層網路。神經網路的學習過程，就是根據訓練資料來調整神經元之間的連線權以及每個功能神經元的閾值。
誤差逆傳播演算法
error backpropagation bp演算法常用的學習演算法，迄今最成功的學習演算法
經證明，只需乙個包含足夠多神經元的隱層，多層前饋網路就能以任意精度逼近任意複雜度的連續函式。
由於其強大的表示能力，bp神經網路經常遭遇過擬合，其訓練
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
神經網路簡介 多層神經網路
如上圖所示，該神經網路有三層。我們標記第一層 也就是輸入層 為a 1 第一層與第二層連線權重為w 1 然後第一層輸入與第一層權重的線性和為z 1 第一層神經元個數為n 1 並依次標記剩餘網路層。可以看出，存在 z l j i 1 n l a l i w l i,j a l w l j a l 1 f...