1. 權重以及偏置的初始化
影響很大。不能隨便用標準正態分佈直接初始化。
資料量小的時候，用
weights=tf.variable(tf.random_normal([input_size,out_size]))*np.sqrt(1/float(input_size))
bias=tf.variable(tf.random_normal([1,out_size]))*np.sqrt(1/float(input_size))
2. 小資料集，
優化函式的選取影響不大，直接使用gd即可。
一般來說，adam的效果最好。
3. 資料量較小的時候，考慮k折交叉驗證，重複多次計算。
4.損失函式
的選取：均方誤差（多用於回歸，分類也可以使用）：loss=tf.reduce_mean(tf.square(youtput-output))
交叉熵（用於分類）：
5. 如何停止學習
？
①固定epochs
②當訓練集的損失下降到一定範圍的時候停止訓練
6.正則化項
：加入到損失函式裡，解決過擬合問題。
l2用的較多。
7.訓練的過程中，隨著訓練步數的增加，loss出現nan情況。
原因：① 學習率太大，試著調小。
② 其他情況：（引用知乎回答）
7.（隨時補充中。。。
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
神經網路簡介 多層神經網路
如上圖所示，該神經網路有三層。我們標記第一層 也就是輸入層 為a 1 第一層與第二層連線權重為w 1 然後第一層輸入與第一層權重的線性和為z 1 第一層神經元個數為n 1 並依次標記剩餘網路層。可以看出，存在 z l j i 1 n l a l i w l i,j a l w l j a l 1 f...