總結一下今天的學習過程
超採納數的選擇原則
學習率、或者採用衰減的學習率
hidden unit num 、 mini-batch-size
layers num、momentum β（預設0.9） adam β1，β2 e（預設 0.9，0.999，10e-8）
採用隨機均勻取值
根據機器的效能：採用一種照看乙個模型、同時實驗多中模型
batch 歸一化：將細長的圖形裝換為同心的圓中
有輕微的正則化效果
含有小量的噪音
不要將其作為規則看待
只能處理乙個mini-batch資料
softmax回歸
了解一些深度學習框架
學習了thesorflow的乙個例子
**兩個訪談
知曉了一些問題
訓練神經網路中的長期依賴問題
反向傳播不需要光滑非線性演算法、非線性校正演算法
神經網路中的聯合分布
用初始化解決深度網路訓練的難點
基於注意力機制的神經網路機器翻譯的研究
穗時序依賴型可塑性
信用分配
怎麼利用時間編碼
美好的一天，明天加油！
PyTorch學習（改善深度神經網路）
偏差，方差是我們調整神經網路的乙個重要指標，在搭建神經網路時需要權衡這兩個值，當高偏差時，演算法不能很好的擬合資料，稱之為欠擬合 當高方差時，演算法過於貼合資料集，稱之為過擬合。判斷偏差與方差的情況，可以根據訓練集與驗證集的正確率進行評估，訓練集的誤差高則偏差高，驗證集的誤差高則方差高，是可以出現方...
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...
深度學習七
我看到過的最複雜的模型就是ssd了，應該說在object detection這個領域，大牛們都是一再的奮鬥著 努力著。一路飄過，聽到的模型真的有很多，但是我覺得有質的變化還應該是r cnn spp fast rcnn faster rcnn yolo，為什麼會是這樣呢，我感覺其實如果是但一物體的識別...