1. 前饋神經網路、網路層數、輸入層、隱藏層、輸出層、隱藏單元、啟用函式的概念。
1.1 前饋網路包括乙個輸入層和乙個輸出層，若干隱單元。隱單元可以分層也可以不分層，若分層，則稱為多層前饋網路。網路的輸入、輸出神經元其啟用函式一般取為線性函式，而隱單元則為非線性函式。任意的前饋網路,不一定是分層網路或全連線的網路。
1.2 網路層數是指神經網路中的層級。
1.3 輸入層是指神經網路中的輸入引數這一層這是神經網路的第0層。
1.4 隱藏層是指除輸入層和輸出層以外的其他各層叫做隱藏層。隱藏層不直接接受外界的訊號,也不直接向外界傳送訊號。
1.5 輸出層是指最終結果的輸入結果這一層，也是神經網路最後一層。
1.6 隱藏單元是指在隱藏層中乙個神經元。
1.7 啟用函式是乙個能讓模型進行收斂的乙個函式。
2. 感知機相關；利用tensorflow等工具定義簡單的幾層網路（啟用函式sigmoid），遞迴使用鏈式法則來實現反向傳播。
importtensorflow as tf
input_data=tf.variable( [[0,10,-10],[1,2,3]] , dtype=tf.float32 )
output=tf.nn.sigmoid(input_data)
with tf.session() as sess:
init=tf.initialize_all_variables()
sess.run(init)
print(sess.run(output))
3. 啟用函式的種類以及各自的提出背景、優缺點。（和線性模型對比，線性模型的侷限性，去線性化）
4. 深度學習中的正則化（引數範數懲罰：l1正則化、l2正則化；資料集增強；雜訊新增；early stop；dropout層）、正則化的介紹。
正則化作用是為了防止過擬合。也叫懲罰項。
神經網路啟用函式
2018,jul 23 學了深度學習也快近一年了，在學deep learning的時候什麼教程都去看，起初學起來也特別的雜亂，前面的基礎沒弄懂還一直往下學，自然導致我學到後面的時候有點崩潰什麼都看不懂，並且因為自己還是一名在校生，平常課程也非常多，沒有乙個連續的學習時間也導致我的學習是斷斷續續，在學...
啟用函式 神經網路
andrew的 neural networks and deep learning 課程學習筆記 如圖所示，是乙個簡單的三層神經網路，如果只使用線性啟用函式或者恒等啟用函式 不使用啟用函式 那麼神經網路的輸出就只是輸入函式的線性變化，因為線性啟用函式的組合依然是線性啟用函式。這種情況下，不管使用多少...
神經網路啟用函式
1.sigmoid sigmoid散活函式是將 乙個實數輸入轉化至 0 1 之間的輸出，具體來說也就是將越大的負數轉化到越靠近 0 越大的正數轉化到越靠近1。多用於二分類。缺點 1 sigmoid 函式會造成梯度消失。乙個非常不好的特點就是 sigmoid 函式在靠近 1和0 的兩端時，梯度會幾乎變...