概念：人工神經網路是在現代神經生物學研究基礎上提出的模擬生物過程，反映人腦某些特性的一種計算結構。
人工神經元模型中的啟用函式
其中 w_i·x_i為輸入訊號加權，θ為閾值（偏置量）
常見的形式有四種：
階躍式sigmoid
relu
elu
神經元與神經元之間彼此連線成複雜的網路才有用。有兩種主要的人工神經元網路。
資訊時有層次的，總是從前一層的神經元單向傳遞到下一層
隱含層的神經元是外界無法直接訪問的，與輸入輸出層以及隱含層神經元互相之間的連線是人工神經元網路實現複雜功能的核心。
前饋型神經網路是乙個靜態的模型，當前時刻的網路輸出與歷史時刻的網路輸入輸出無關，給定輸入就可以得到輸出。
是一種存在從靠近輸出端的神經元向靠近輸入端的神經元的資訊傳遞網路，後端的輸出會鏈結到更考前的神經元的輸入上，與之前的輸入輸出有關，是有「記憶」的。
輸出層到輸入層的反饋——>hopfield
後一層向前一層的反饋 ——>受限玻爾茲曼機
無明顯層次，相互鏈結——> 任意反饋鏈結
★輸入與輸出的對映關係是由其內部結構和引數（最優權向量、偏置量θ）共同決定的。
特點：gpu:遠不是對於計算機圖形進行高速處理的晶元
fpga：現場可程式設計門陣列，是一種可以通過軟體程式設計改變電路結構的半定製大規模積體電路
專門設計的ai晶元：包含gpu和 fpga的元素
分為單神經元和多神經元，多神經元由單神經元新增層次或者是引數實現
完整的神經網路訓練問題可以分為兩個層次研究
每個神經元如何根據輸入輸出資料來學習到自身最優的引數
如何使得到網路中的所有神經元都能獲得有效的輸入輸出來完成自身的學習
通過增加乙個取值固定的-1的維度，構成n+1維的輸入的權值和偏置量。則將啟用函式轉化為
對於每乙個神經元來說，它是用輸入訊號與偏置量之間的線性組合構成淨激勵，再用淨激勵通過啟用函式去激發輸出。
★直接求最優權值較為困難，通過遞推不斷修正w的解 △w
如何求解設定△w？
△w(t)：t時刻神經元權值的修正量
x(t):輸入向量
y(t):輸出向量
yd(t)：x(t)對應的期望輸出
r：學習訊號
η：學習速率
學習目標通過逐步遞推修正權向量使得誤差減小直至消失
為學習訊號
所有的神經元學習規則其權向量修正值都是由學習速率與學習訊號及輸入向量相乘構成。
感知器的啟用函式是乙個階躍函式
△w(t)=±ηx(t)，x∈錯分樣本
並不是所有輸入輸出層都能與外界相連，大致有三種學習方案
適用於前饋網路
（1）無監督學習模式
在所有神經元的狀態更新完成後，可以進行每個神經元的權向量調整，逐一完成。
（2）有監督學習
需要從輸出層開始，從輸出誤差估計輸入誤差，將誤差傳遞給所有的神經元
狀態更新——>誤差更新——>神經元學習
指在同一層中，接受相同輸入的神經元，輸出最大的乙個獲勝，可以調整權向量，調整規則 △w(t)=η(x(t)-w(t))
用訓練集樣本訓練網路時，可以使每個神經元的權向量逐步逼近樣本集的聚類中心，
PyTorch分類神經網路
這次我們也是用最簡單的途徑來看看神經網路是怎麼進行事物的分類.我們建立一些假資料來模擬真實的情況.比如兩個二次分布的資料,不過他們的均值都不一樣.import torch import matplotlib.pyplot as plt 假資料 n data torch.ones 100,2 資料的基...
Matlab BP神經網路，用於分類
bp神經網路，即向後傳播演算法。clear p1,p2是訓練資料 p1 1.24,1.27 1.36,1.74 1.38,1.64 1.38,1.82 1.38,1.90 1.40,1.70 1.48,1.82 1.54,1.82 1.56,2.08 p2 1.14,1.82 1.18,1.96 1...
1 神經網路的分類？
依次是，標準神經網路snn,卷積神經網路 cnn，遞迴神經網路 rnn例如，在之前看到的房價 應用中，我們使用的是標準的神經網路結構，廣告 也是乙個相對標準的神經網路 standard neural networks,以下簡稱 snn 對於影象應用程式，我們經常使用卷積神經網路cnn convolu...