三層全連線神經網路：輸入層（2個節點）、隱藏層（3個節點）、輸出層（1個節點）
x為輸入，w1第一層節點的引數，w2第二層節點的引數，y為輸出
import tensorflow as tf
w1 = tf.variable(tf.random_normal((2, 3), stddev=1, seed=1))
w2 = tf.variable(tf.random_normal((3, 1), stddev=1, seed=1))
x = tf.constant([[0.7, 0.9]])
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)
sess = tf.session()
with sess.as_default():
sess.run(w1.initializer)
sess.run(w2.initializer)
print(sess.run(y))
第二步宣告乙個會話，並通過會話計算結果。
雖然定義變數時給出了初始化方法，但並沒有執行，所以在計算y時需要執行w1.initializer，w2.initializer給變數賦值。也有一種快捷方式可以一次性實現所有變數的初始化，函式tf.global_variables_initializer()，因此程式第二步with語句中的**可以改為：
with sess.as_default():
init_op = tf.global_variables_initializer()
sess.run(init_op)
print(sess.run(y))
面試 前向神經網路
z很大或者很小時，梯度都會趨於0 優點 反向傳播 乙個是回歸，乙個是分類 平方誤差基於梯度的學習速度非常緩慢，交叉熵導數是線性的。不能，因為神經網路同層同構，擁有相同的輸入，如果引數也完全相同則無論前向還是後向結果都是一樣的，學習過程永遠無法打破這種對稱性，最終學習過的引數仍然相同。dropout作...
eigen（二） 神經網路前向
void array2matrix matrixxf mat1 map array1,2,3 cout mat1 endl 預設是colmajor,output 1 3 5 2 4 6 假設array原始的矩陣是以下形式 rowmajor 1 2 3 4 5 6 float array2 matri...
神經網路 前向，反向傳播過程
x，資料集矩陣。每一行的元素代表了乙個樣例的特徵值x1，x2，x3.共有n行，說明資料集一共n個樣例 theta，引數矩陣 行數 要生成的神經元個數 列數 上一層的輸入個數 每一行的元素代表了對樣例各個特徵值的權重 以資料集為x 5 3 使用上圖的網路結構為例 輸入層 x 5 3 說明資料集有5個樣...