對tensorflow深度學習中常見引數的總結分析神經網路中常見的引數有:初始學習率、學習率衰減率、隱藏層節點數量、迭代輪數、正則化係數、滑動平均衰減率、批訓練數量
七個引數
。
對這七個引數,大部分情況下,神經網路的引數選優是通過實驗
來調整的。
乙個想法是,通過測試資料來評判引數的效果,但是這種方法會導致過擬合測試資料,失去評判未知資料的意義。而我們訓練神經網路的目的,恰恰是為了**未知資料。
所以,為了評判各種引數的效果,一般會從訓練資料中抽取一部分作為驗證資料。
驗證資料的選取方法也是非常重要的,一般來說選取的驗證資料分布越接近測試資料分布,模型在驗證資料上的表現越可以體現模型在測試資料上的表現。
總結一下的話,啟用函式和隱藏層對模型的效果帶來質的飛躍;滑動平均模型、學習率衰減率、正則化項對最終正確率的提公升效果不明顯,但是需要解決的問題和使用的神經網路更加複雜時,這些優化方法將更有可能對訓練效果產生更大的影響。
tensorflow常見函式
numpy.random.normal loc 0.0,scale 1.0,size none 高斯分布函式 loc 該概率分布的均值,對應著整個分布的中心 center scale 該概率分布的標準差 對應於分布的寬度,scale越大越矮胖,scale越小,越瘦高 size 輸出的shape,預設...
TensorFlow常見函式
tensorflow隨機數生成函式 函式名稱 隨機數分布 主要引數 tf.random normal 正態分佈 平均值 標準差 取值型別 tf.truncated normal 正態分佈,但如果隨機出來的值偏離平均值超過2個標準差,那麼這個數將會被重新隨機 平均值 標準差 取值型別 tf.rando...
Tensorflow筆記之(損失函式)
常用的損失函式有 1.均方誤差 tf.reduce mean tf.square 真實值 值 2.自定義損失函式 3.交叉熵 tf.nn.softmax cross entropy with logits lables 真實值,logits 值 通過 酸奶日銷量與影響因素x1,x2之間關係,理解損失...