模型改進後，在你的驗證集上影響了30個例項的改變，通常是有統計學意義的，通常是可以信任的。想象你的驗證集裡有3000個例項，假定你信任30的規則，你可以相信哪個水平的準確性的提公升？
當你得到從80%到81%，這1%的提公升更有說服力，因為有30個例項從不正確到正確。這就是為什麼對大多數分類器任務，人們傾向於用超過3000個例項做驗證集，因為這使得準確率的第乙個小數字是有效數字，給你足夠的解析度去看到小的改進。
人們認為sgd是黑魔法，你有很多超引數可以調節：
（1）初始化權重(initialization parameters)
（2）學習率(learning rate parameters)
（3）衰減比(decay)
（4）動量(momentum)
當訓練出現問題的時候，首先應該想到降低學習率。
參考文獻
[1]
官網示例：
部落格示例：
import os
os.chdir("e:\\machine_learning_project\\deeplearning_in_udacity\\notmnist")
train_folders=['notmnist_large/a', 'notmnist_large/b', 'notmnist_large/c', 'notmnist_large/d', 'notmnist_large/e', 'notmnist_large/f', 'notmnist_large/g', 'notmnist_large/h', 'notmnist_large/i', 'notmnist_large/j']
test_folers=['notmnist_small/a', 'notmnist_small/b', 'notmnist_small/c', 'notmnist_small/d', 'notmnist_small/e', 'notmnist_small/f', 'notmnist_small/g', 'notmnist_small/h', 'notmnist_small/i', 'notmnist_small/j']
總的來說，第乙個學習任務沒有太多難點，主要是用於熟悉一般的機器學習的，模型可以直接從sklearn裡面選一些來嘗試。如果用一般的模型，甚至還不用涉及tensorflow。
參考文獻
[1]
[2]
谷歌深度學習公開課學習筆記 0
課程 谷歌官方的倉庫 課程難度不大，課後的學習任務我也在其他部落格網上找到了解答，他的全部 託管在 學習任務解答列表 1.谷歌深度學習公開課任務 1 notmnist 2.谷歌深度學習公開課任務 2 sgd 3.谷歌深度學習公開課任務 3 正則化 4.谷歌深度學習公開課任務 4 卷積模型 5.谷歌深...
百度深度學習公開課學習 簡易筆記和思考
課程第一章主要介紹現代ai的基本概念和演化過程，整理本課程一些學習要點，第一課介紹現代ai的歷史發展 第二課梳理了現代ai的骨架脈絡，有個整體概貌 第三課著重介紹深度的基本概念和學習演進過程。1 現代ai是什麼？1.1 深度學習的興起 alphago引起廣泛關注 1.2 學派分類 邏輯學派 規則為主...
程式設計正規化 斯坦福公開課 學習筆記1
簡單的正數二進位制加法1 5 6 如果表示負數時，只是單獨的拿最高位做符號位 則short型的 7 7表示為 看上式，7 7結果卻得到了 14，而不是0 但是如果 7用反碼來表示，就不會有問題 最高位的1出界了，所以得到的就是0了。用補碼表示時，正數的補碼是自己，負數的補碼是絕對值取反加一。如果只用...