tf.truncated_normal中方差stddev=1.0 / math.sqrt(output_size)，防止引數過大。如果學習不同特徵的關係，因為要拉大差距，不需要考慮這一點。
對於單層神經網路：引數不能過大
對於深層神經網路：正則化防止過擬合
lstm網路基本為2層左右
通常自己可以調節的一些部分：優化器，學習率（0.01->0.001->0.0001）
一句很精闢的話：輸入資料決定了模型的上限，模型是為了逼近這個上限。也就是說對於nlp中word2vec的選擇比較重要。
訓練集情況比較好，測試集情況不好——出現過擬合現象
解決方案：dropout / 正則化 / 增加樣本數量
loss很久不變：梯度消失
解決方案：新增norm層
常見的神經網路
由於新的神經網路架構無時無刻不在湧現，想要記錄所有的神經網路是很困難的事情。要把所有這些縮略語指代的網路 dcign，iilstm，dcgan等 都弄清，一開始估計還無從下手。下表包含了大部分常用的模型 大部分是神經網路還有一些其他的模型 雖然這些架構都是新奇獨特的，但當我開始把它們的結果畫下來的時...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...