總結：優化是為了 improve the training_loss； regularization/ ensembling is improving the performance on the test data； transfer learning 使得在樣本量小的時候也可以使用cnn。
regulazation
一般用 batch normalization 就夠了，特別在的深層神經網路中幫助收斂； 不足的時候用dropout or other
dropout
1. 在全連線層時使用，隨機使一半的元素為0； 在卷積層時，隨機使得一些通道(channel)的值為0
2. 這是為了防止一些 features' co-adaption 比如可能學習到 特徵組合 毛+爪子+鬍鬚 ，dropout之後就需要用零散的特徵來判斷。
3. dropout 與 bn 都是通過引入一定的 隨機性 或 noise 來達到 防止overfitting的效果
所以一般只用bn就可以了，不用dropout；但實際上，dropout有引數p 調節，效果更好
np.random.rand是做 [ 0,1 ) 的均勻分布
data augmentation 資料增強
通過增加了樣本量，與引入了一定的隨機性來對抗overfitting
1. 翻轉
2. 旋轉
3 .拉伸
1. 如果感興趣的dataset非常小 < 1m ， 可以找乙個相似的大dataset （imagenet）預訓練，如下圖
2. 再運用在你的dataset上學習
C語言第七課
主要內容 結構體 很重要，掌握 一 結構體的宣告 結構體是一種比較靈活的資料型別，與oc要學的類很相似 結構體是一種自己定義的資料型別示例 struct 結構體名 student 定義乙個學生型別 由結構體型別修飾的變數，叫結構體變數 定義 struct 結構體名 變數名 示例 struct stu...
第七課 C變數
第七課c變數 7.1 c 變數介紹 變數是程式可操作的儲存區的名稱。c 中每個變數都有特定的型別，型別決定了變數儲存的大小和布局，該範圍內的值都可以儲存在記憶體中，運算子可應用於變數上。變數的名稱可以由字母 數字和下劃線字元組成。它必須以字母或下劃線開頭。大寫字母和小寫字母是不同的，因為c 是大小寫...
python第七課（集合）
set 集合是乙個無序不重複元素的集合 無序唯一 支援 union 聯合 intersection 交 difference 差 和 sysmmetric difference 對稱差集 等數 算 建立語法 set1 set 空 set1 set1 set 字典將取key key 唯一 set1 s...