1.基本概念
深度前饋神經網路也叫作多層感知機，是深度學習中最常用的模型。它包含輸入層，隱含層和輸出層三個部分。它的目的是為了實現輸入到輸出的對映。它定義了乙個函式 y = f(x,theta),並且通過學習theta，得到了對映函式f。
深度前饋神經網路之所以稱之為深度是因為它包含了很多層（隱含層可能會有很多層），而稱之前饋則是因為它在輸出和模型本身之間沒有反饋，而有這種反饋的網路叫做迴圈神經網路。深度前饋神經網路的本質就是復合函式。
為什麼需要深度前饋神經網路呢？這要從線性模型談起，剛開始線性模型只能夠解決線性問題，後來引入了核函式就可以解決非線性的問題，但是這個核函式怎麼來呢？通常的做法乙個是採用通用式的核函式，容易過擬合，泛化誤差太大。還有一種是通過手工設計，但是這一種的代價太大，經常幾年甚至幾十年才會出成果。為了更好地得到這個核函式，我們引入了神經網路。它能夠通過學習，自己得到乙個效果不錯的核函式，我們在它的隱藏層可以加入通用的核函式，也可以結合經驗加入手工設計一些核函式，那這樣它就既具備前面兩者的優點，又有自身的長處。
基於梯度的學習
線性模型和神經網路的最大的不同在於神經網路的非線性，這使得許多我們常用的損失函式變得非線性。基於梯度的優化演算法是神經網路中常用的方法，但是因為它的非凸性，我們在選擇初始權重和偏置的時候要盡量選擇比較小的整數。
2. 單層神經網路
人工神經網路之前饋神經網路
源鏈結 1.基本概念 深度前饋神經網路也叫作多層感知機，是深度學習中最常用的模型。它包含輸入層，隱含層和輸出層三個部分。它的目的是為了實現輸入到輸出的對映。它定義了乙個函式 y f x,theta 並且通過學習theta，得到了對映函式f。深度前饋神經網路之所以稱之為深度是因為它包含了很多層 隱含層...
人工神經網路 多層神經網路
模型原型 sklearn.neural network.mlpclassifier hidden layer sizes 100,activation relu algorithm adam alpha 0.0001,batch size auto learning rate constant le...
前饋神經網路
前饋神經網路 ffnn 由乙個輸入層，一到多個隱藏層，有乙個輸出層組成。資料通過網路一層層向後傳遞，直到輸出層，之間沒有反饋迴路。前饋神經網路可得到的函式 1 有乙個隱藏層的網路，可形成任意乙個連續函式 2 有倆個及以上的隱藏層，可形成任意函式，包括連續函式和離散函式 說明 設計乙個計算函式的網路，...