乙個最簡單的神經元結構的輸出就是所有輸入的加權和，而不同輸入的權重就是神經元的引數。神經網路的優化過程就是優化神經元中引數取值的過程。
全連線神經網路是相鄰兩層之間任意兩個節點之間都有連線的神經網路結構。
乙個簡單的判斷零件是否合格的三層全連線神經網路。
第二個部分為神經網路的連線結構。
最後乙個部分是每個神經元中的引數。
給定神經網路的輸入、神經網路的結構以及邊上權重，就可以通過前向傳播演算法來計算出神經網路的輸出。
神經網路前向傳播演算法示意圖
前向傳播演算法可以表示為矩陣乘法。
在 tensorflow 中矩陣乘法是通過 tf.matmul 實現的。
# 以下 tensorflow 程式實現了圖中所示神經網路的前向傳播過程。
x = [[0.7, 0.9]]
w1 = [[0.2, 0.1, 0.4], [0.3, -0.5, 0.2]]
w2 = [[0.6,], [0.1,], [-0.2,]]
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)
with tf.session() as sess:
print(sess.run(a))
# [[ 0.41000003 -0.38 0.45999998]]
with tf.session() as sess2:
print(sess2.run(y))
# [[ 0.11600002]]
演算法工程師修仙之路 TensorFlow（二）
張量在 tensorflow 中的實現並不是直接採用陣列的形式，它只是對tensorflow 中運算結果的引用。在張量中並沒有真正儲存數字，它儲存的是如何得到這些數字的計算過程。tensorflow中的張量和 numpy 中的陣列不同，tensorflow 計算的結果不是乙個具體的數字，而且乙個張量...
演算法工程師修仙之路 TensorFlow（六）
tensorflow 中變數的初始值可以設定成隨機數 常數或者是通過其他變數的初始值計算得到。通過滿足正態分佈的隨機數來初始化神經網路中的引數是乙個非常常用的方法，除了正態分佈的隨機數，tensorflow 還提供了一些其他的隨機數生成器 tensorflow 也支援通過常數來初始化乙個變數 在神經...
演算法工程師修仙之路 Keras（三）
由於這一領域是靠實驗結果而不是理論指導的，所以只有當合適的資料和硬體可用於嘗試新想法時 或者將舊想法的規模擴大，事實往往也是如此 才可能出現演算法上的改進。機器學習不是數學或物理學，靠一支筆和一張紙就能實現重大進展。它是一門工程科學。硬體 資料如果有乙個資料集是深度學習興起的催化劑的話，那麼一定是 ...