讀《Python神經網路程式設計》

一、神經網路前向傳播公式推導

這樣設計的原因：第一是這種一致的完全連線形式事實上可以相對容易地編碼成計算機指令，第二是神經網路的學習過程將會弱化這些實際上不需要的連線（也就是這些連線的權重將趨近於0），因此對於解決特定任務所需最小數量的連線冗餘幾個連線，也無傷大雅。

這意味著，隨著神經網路學習過程的進行，神經網路通過調整優化網路內部的鏈結權重改進輸出，一些權重可能會變為零或接近於零。零或幾乎為零的權重意味著這些鏈結對網路的貢獻為零，因為沒有傳遞訊號。零權重意味著訊號乘以零，結果得到零，因此這個鏈結實際上是被斷開了。

x=（第乙個節點的輸出*鏈結權重）+（第二個節點的輸出*鏈結權重）

x=（1.0 * 0.9）+（0.5*0.3）x=0.9+0.15 x=1.05

我們不希望看到：不使用權重調節訊號，只進行乙個非常簡單的訊號相加1.0+0.5。權重是神經網路進行學習的內容，這些權重持續進行優化，得到越來越好的結果。

因此，現在，我們已經得到了x =1.05，這是第二層第乙個節點的組合調節輸入。最終，我們可以使用啟用函式y=1/（1+e^-x）計算該節點的輸出。你可以使用計算器來進行這個計算。答案為y=1/（1 +0.3499）=1 /1.3499。因此，輸出y=0.7408。

三、當有許多節點和層次時，計算量將會非常大，因此可以用矩證來計算

因此我們可以用下式來表示：x=w*i

此處，w是權重矩陣，i是輸入矩陣，x是組合調節後的訊號，即輸入到第二層的結果矩陣。

但是，我們不需要寫出長長的一串數字或大量的文字。我們可以簡單地寫為w •i ，不管i有2個元素還是有200個元素。

啟用函式最後一層的輸出：o=sigmoid(x) 斜體的o代表矩陣，這個矩陣包含了來自神經網路的最後一層中的所有輸出。

四、第一層為輸入層，最後一層為輸出層，中間層我們稱之為隱藏層。

隱藏矩陣與輸入層的權重寫為

二、神經網路反向傳播公式推導

三、神經網路前反向傳播**例項

構建神經網路的基本**：

#neural network class definition
import scipy.special
import numpy
class neuralnetwork:
# initialise the neural network
def __init__(self,inputnodes,hiddennodes,outputnodes,learningrate):
#set number of nodes in each input,hidden,output,lawer,
self.inodes=inputnodes;
self.hnodes=hiddennodes;
self.onodes=outputnodes;
#w11,w21,w12,w22 etc 權重矩陣設定，正態分佈
self.wih=numpy.random.normal(0.0,pow(self.hnodes,-0.5),(self.hnodes,self.inodes))
self.who=numpy.random.normal(0.0,pow(self.onodes,-0.5),(self.onodes,self.hnodes))
#learning rate
self.lr = learningrate
#activation function is the sigmoid function
self.activation_function = lambda x: scipy.special.expit(x)
pass
#train the neural network
def train(self,inputs_lists,targets_list):
#轉換輸入輸出列表到二維陣列
inputs=numpy.array(inputs_lists,ndmin=2).t
targets=numpy.array(tasgets_lists,ndmin=2).t
#計算到隱藏層的訊號
hidden_inputs=numpy.dot(self.wih,inputs)
#j計算到隱藏層的訊號
hidden_outputs=self.activation_function(hidden_inputs)
#計算到輸出層的訊號
final_inputs=numpy.dot(self.who,hidden_outputs)
final_outputs=self.activation_function(final_inputs)  #與query()幾乎一模一樣
output_errors=targets-final_outputs
#輸出誤差轉化為隱藏層誤差
hidden_errors=numpy.dot(self.who.t,output_errors)
#更新隱藏層和輸出層之間的權責
self.who+=self.lr*numpy.dot((output_errors*final_outputs*(1.0-final_outputs)),numpy.transpose(hidden_outputs))
#更新隱藏層到輸入層之間的權責
self.wih+=self.lr*numpy.dot((hidden_errors*hidden_outputs*(1.0-hidden_outputs)),numpy.transpose(inputs))
pass
#query the nnetwork
def query(self,inputs_list):
#轉換輸入列表到二維陣列
inputs=numpy.array(inputs_list,ndmin=2).t
#計算到隱藏層的訊號
hidden_inputs=numpy.dot(self.wih,inputs)
#計算隱藏層輸出訊號
hidden_outputs=self.activation_function(hidden_inputs)
#計算到輸出層的訊號
final_inputs=numpy.dot(self.who,hidden_outputs)
final_outputs=self.activation_function(final_inputs)
return final_outputs;
pass
#number of input,output,hidden nodes
input_nodes=3;
hidden_nodes=3;
output_nodes=3;
#learning rate is 3.0
learning_rate=3.0
#creat instance of netural network
n=neuralnetwork(input_nodes,hidden_nodes,output_nodes,learning_rate)

讀《Python神經網路程式設計》

神經網路 python實現神經網路

閱讀筆記 Python神經網路程式設計

Python與神經網路0 神經網路介紹

讀《Python神經網路程式設計》

神經網路 python實現神經網路

閱讀筆記 Python神經網路程式設計

Python與神經網路0 神經網路介紹

相關推薦