神經元模型，由兩部分組成。一部分將訊號進行累加，得到得分函式，還有偏置項（bias），相當於函式的截距項或者常數項。 z=
bias
+∑i=
1mxi
wi=∑
i=0m
xiwiz=
bias
+∑i=
1mxi
wi=∑
i=0m
xiwi
第二部分是啟用函式，這是神經元的關鍵，通常使用某類啟用函式，就稱為某類神經元。如果使用的是sigmoid函式，就稱為logistic回歸。
sigmoid神經元是神經網路的預設配置，但是有易飽和性。所以要注意引數的初始值來盡量避免飽和情況。sigmoid神經元還有乙個小缺點就是，它的輸出期望不是0，而是0.5。
tanh神經元。是sigmoid神經元的乙個變形，函式期望為0。也叫雙曲線正切啟用函式。 ta
nh(x
)=2s
igmo
id(2
x)−1
=21+
e−2x−1t
anh(
x)=2
sigm
oid(
2x)−
1=21
+e−2
x−
1relu，修正線性單元。relu擁有非常強大的非線性轉換能力，比如可以將抑或分類。
訓練神經網路只有一招，就是構造代價函式，然後求解梯度，修改網路權重。relu在0點不可導，不過不算是啥大問題。
relu可以看做是兩條分段線性函式。 f(
x,α)
=max
(0,x
)+αm
in(0
,x) f(x
,α)=
max(
0,x)
+αmi
n(0,
x)
當alpha=0時，就是relu。當alpha=-1，該函式為 f(
x)=|x|f
(x)=
|x
|當alpha=0.01，就是裂縫修正單元，負半軸函式和橫座標的夾角非常的小。
maxout單元，由k段線性分段函式構成，由maxout組成的神經網路，不僅要學習神經元間的關係，還需要學習啟用函式本身。、
神經網路大部分都是分類任務，但是sigmoid單元或者softmax單元有著容易飽和的情況，所以預設使用交叉熵作為代價函式。在實際使用時不太常使用relu這樣的分段線性啟用函式，而是更傾向於使用sigmoid或tanh啟用單元，即使我們知道其擁有易飽和的缺點。但其實很多在直覺上或者理論上完美的東西，並不一定完美，實踐才是檢驗真理的唯一標準。
通用逼近理論表明至少包含乙個隱藏層的前饋神經網路，其在隱藏層使用擠壓式啟用函式，如sigmoid函式，表示只要給予足夠多的隱藏單元個數，它就可以逼近任意函式。
在大多數情況下，使用深層的神經網路可以有效的降低神經元的數量並同時降低泛化錯誤率。
bp：從上層往下層求梯度，每層需要求解兩種梯度，一種是該層的權重梯度，用dw表示；一種是該層的輸入梯度，用da表示，在一些資料中也被稱為殘差。對於最終輸出節點的殘差，直接使用網路產生的啟用值與實際值之間的代價函式獲得，對於隱藏節點的殘差，為該節點連線到上一層的所有殘差加權求和。
神經網路系列 深度前饋網路
全連線前饋網路 fully connect feedforward network 是最常見的神經網路連線方式，也可以叫做多層感知機模型 multi layer perceptron define a set of functions 當乙個神經網路的結構確定了的時候，這個模型所對應的函式集合也就確...
前饋神經網路
前饋神經網路 ffnn 由乙個輸入層，一到多個隱藏層，有乙個輸出層組成。資料通過網路一層層向後傳遞，直到輸出層，之間沒有反饋迴路。前饋神經網路可得到的函式 1 有乙個隱藏層的網路，可形成任意乙個連續函式 2 有倆個及以上的隱藏層，可形成任意函式，包括連續函式和離散函式 說明 設計乙個計算函式的網路，...
大話深度學習（一） 初識深度前饋神經網路
初識深度前饋神經網路 深度前饋神經網路可簡稱為前饋神經網路，前饋神經網路最具有代表性的乙個樣例就是多層感知機 mlp 模型。前饋神經網路的模型是向前的，模型的輸入與輸出不存在鏈結，例如乙個輸入輸出滿足乙個函式y f x x為輸入，y為輸出。資訊從x經過f x 到達y，這個過程中f以及x並沒有因為y的...