線性神經網路類似於感知器，但是線性神經網路的啟用函式是線性的，而不是硬轉移函式，因此，線性神經網路的輸出可以是任意值，而感知器的輸出不是0就是1。線性神經網路和感知器一樣只能求解線性可分的問題。因此，線性神經網路的限制和感知器相同。
線性神經元與感知器神經元具有相似的結構，唯一的不同是線性神經元使用了線性傳遞函式purelin，因此與感知器神經網路不同，線性神經網路的輸出可以是任意的。
線性神經元的輸出可以由以下公式進行計算y=
pure
lin(
v)=p
urel
in(ω
→⋅p→
+b)=
ω→⋅p
→+b
當輸出y等於0的時候，可以畫出它們的分界線。位於分界線上面的輸入向量能夠產生大於0的網路輸出，位於分界線下面的輸入向量能產生小於0的網路輸出。因此線性神經元只能逼近乙個線性函式，而不能完成逼近非線性函式的計算。其侷限性與感知神經網路相同。
線性神經網路採取的學習規則是widrow-hoff學習規則，又稱為最小均放誤差（lms）學習演算法，它基於負梯度下降的原則來減小網路的訓練誤差。最小均方誤差學習演算法也屬於監督類學習演算法。假設p
k=(p
1,p2
,⋯,p
r(k)
) 表示網路的輸入向量， dk
=(d1
(k),
d2(k
),⋯,
ds(k
))表示網路的期望輸出向量，yk
=(y1
(k),
y2(k
),⋯,
ys(k
))表示網路的實際輸出向量，其中k=
1,2,
⋯,m 表示輸入向量與對應的期望輸出向量樣本對的數量。lms學系規則就是要減小這些誤差平方和的均值，定義如下：ms
e=1m
∑k=1
me2(
k)=1
m∑k=
1m(d
(k)−
y(k)
)2可以看出，其效能指標是乙個二次方程，所以要麼具有全域性最小值，要麼沒有最小值，而選擇什麼樣的輸入向量恰恰會決定網路的效能指標會有什麼樣的最小值。
如果考慮第k次迴圈時訓練誤差的平方對網路權值和閾值的二階偏微分，會得到如下公式：∂e
2(k)
∂ωij
=2e(
k)∂e
(k)∂
ωij
∂e2(
k)∂b
=2e(
k)∂e
(k)∂
b 再計算此時的訓練誤差對網路權值和閾值的一階偏微分： ∂e
(k)∂
ωij=
∂e∂ω
ij[d
(k)−
(wp(
k)+b
)]或者： ∂e
(k)∂
ωij=
∂e∂ω
ij[d
(k)−
(∑i=
1rωi
jpi(
k)+b
)]其中pi
(k) 表示第k次迴圈中的第i個輸入向量，則有： ∂e
(k)∂
ωij=
−pi(
k) ∂
e(k)
∂b=−
1 根據負梯度下降原則，網路權值和閾值的改變量應該是2η
e(k)
p(k)
和 2η
e(k)
所以網路權值和閾值修正公式如下： ω(
k+1)
=ω(k
)+2η
e(k)
pt(k
) b(
k+1)
=b(k
)+2η
e(k)
其中η 為學習率當η
取值較大時，可以加快網路的訓練速度，但是如果
η 的值太大，會導致網路穩定性的降低和訓練誤差的增加。所以，為了保證網路進行穩定的訓練，學習率
η 的值必須選擇乙個合適的值。
BP神經網路模型與學習演算法
一，什麼是bp bp back propagation 網路是1986年由rumelhart和mccelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。bp網路能學習和存貯大量的輸入 輸出模式對映關係，而無需事前揭示描述這種對映關係的數學...
BP神經網路模型與學習演算法
一，什麼是bp bp back propagation 網路是1986年由rumelhart和mccelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。bp網路能學習和存貯大量的輸入 輸出模式對映關係，而無需事前揭示描述這種對映關係的數學...
BP神經網路模型與學習演算法
一，什麼是bp bp back propagation 網路是1986年由rumelhart和mccelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。bp網路能學習和存貯大量的輸入 輸出模式對映關係，而無需事前揭示描述這種對映關係的數學...