介紹一些技巧，防止神經元飽和導致學習緩慢。
前面已經介紹，我們使用corss entropy function+sigmoid function或者softmax active fuction+log-likehood能夠較好的避免學習緩慢的問題，具體請參考這裡。
但請注意，這裡我們只針對輸出神經元在錯誤的值上飽和導致的學習下降，而對隱藏層的神經元毫無辦法。
最常見的初始化神經元方法是使用標準正態分佈隨機初始化，這會帶來乙個問題。
設想，我們第一層神經元的w、
b w、b
已經初始化為服從u(
0,1)
u (0
,1
)的正態分佈，且輸入
x x
為0或者1，這裡假設為0的有500個，1也有五百個。
因此，我們考慮帶權和：z=
∑jwj
xj+b
' role="presentation">z=∑
jwjx
j+bz
=∑jw
jxj+
b不難得到，
z z
服從u(
0,501)
u (0
,501
)的正太分布。這將導致我們的
z z
非常分散，也就是說
z>>
1' role="presentation">z
>>1z
>>1或者
z<<−1
z
<<−1
。這對我們是非常不利的，因為這將導致σ(
z)σ (z
)接近1或者0，神經網路將很難繼續學習。
因此，我們可以將
w w
初始化為服從u(
0,1n
in)' role="presentation">u(0
,1ni
n)u(
0,1n
in)的高斯分布，其中ni
n nin
表示有這麼多個輸入權重的神經元。
這樣，根據上面假設的例子，
z z
會服從u(
0,32
)' role="presentation">u(0
,32)
u(0,
32)的正態分佈，比之前好了很多。
經驗表明，如何初始化偏置影響不大。
有些人甚至將偏置初始化為0也可以。
Izhikevich神經元的MATLAB實現
在神經元模型中，izhikevich模型相較於hh模型和if模型，具有準確度高 相比if 計算簡單 相比hh 等優點，其數學表示式如下 v 0.04v 2 5v 140 u i u a bv u if v 30 mv then v cu u d 現在網路上和各大論壇所有的大部分都是多神經元模型，有關...
神經元的工作機制
神經元由細胞體個突起組成。突起分為軸突和樹突。細胞體是由很多分子形成的綜合體，內部含有乙個細胞核 核醣體 原生質網狀結構等，它是神經元活動的能量 地，在這裡進行新陳代謝等各種生化過程。神經元也即是整個細胞，整個細胞的最外層稱為細胞膜。細胞體的伸延部分產生的分枝稱為樹突，樹突是接受從其它神經元傳入的資...
簡單的神經元模型
其函式表達如下所示 y b i xiwi y b ix iwi其中，w w 表示權值，x role presentation style position relative x x表示輸入。y y 表示輸出。線性神經元模型中，輸入xi可以被看作是 來自其他神經元的動作電位，該動作電位引起突觸的興奮。...