更新中（1）神經網路：
人工神經網路（artificial neural network，ann）是指一系列受生物學和神經學啟發的數學模型。這些模型主要是通過對人腦的神經元網路進行抽象，構建人工神經元，並按照一定拓撲結構來建立人工神經元之間的連線，來模擬生物神經網路。在人工智慧領域，人工神經網路也常常簡稱為神經網路（neural network，nn）或神經模型（neural model）。
參考：前饋神經網路.pdf
（2）常見啟用函式：
早期研究神經網路主要採用sigmoid函式或者tanh函式，輸出有界，很容易充當下一層的輸入。近些年relu函式及其改進型（如leaky-relu、p-relu、r-relu等）在多層神經網路中應用比較多。
參考：（3）常見損失函式：
從學習任務的型別出發，可以從廣義上將損失函式分為兩大類——回歸損失和分類損失。回歸函式有：均方誤差/平方損失/l2 損失。分類損失有：hinge loss/多分類 svm 損失，**交叉熵損失/負對數似然
參考：
神經網路基礎知識
1 前饋神經網路 前饋神經網路描述的是網路的結構，是指每一層的神經元只接受前一層神經元的輸入，並且輸出到下一層。2 bp神經網路 3 mlp mlp是多層感知機也被稱為多層神經網路，是一種前向結構，包括輸入層 隱藏層和輸出層。至少三層結構 即隱藏層只有一層網路 如圖所示 4 cnn cnn就是著名的...
神經網路基礎知識（神經網路簡介）
一 生物神經網路 神經元的排列和突觸的強度 由複雜的化學過程決定 確立了神經網路的功能。突觸有兩種型別，興奮性突觸和抑制性突觸。前者產生正突觸後電位，後者產生負突觸後電位。抑制性 神經元雖然接收到其他神經元傳遞的資訊，但沒有向外傳遞資訊，該神經元稱 抑制性 的 興奮性 當乙個神經元的樹突接收的興奮資...
神經網路的基礎知識
前饋神經網路是最早被提出的神經網路，熟悉的單層感知機，多層感知機，卷積深度網路等都屬於前饋神經網路，之所以叫前饋，可能是因為資訊向前流 資料從輸入 計算 輸出步驟。像rnn有反饋連線的叫反饋神經網路。如圖 乙個典型的神經元模型 包含n個輸入，1個輸出，計算功能 先求和，再將結果送入f啟用函式中 圖中...