思路：在訓練的時候引入干擾，在測試的時候避免干擾。
翻轉增強資料。
隨機裁切後調整大小用於訓練，測試時先影象金字塔製作不同尺寸，然後對每個尺寸在固定位置裁切固定大小進入訓練，最後對所有結果取平均值。
對顏色資訊進行主成分分析並重建
三種網路訓練思路：
中量資料的訓練思路：先訓練附加層，收斂後整體整體微調(funetuning)
實際上預訓練模型不是特例，幾乎大型計算機視覺任務都會使用預先訓練好的模型加速。
雙層3*3卷積核感受野大小為5*5
三層3*3卷積核感受野大小為7*7，有意思的是這等價於單層7*7大小的卷積核
需學習引數多層小卷積核網路更少
運算量也是多層小卷積核結構更少
[思路]：嘗試把大的單層卷積分解為小的多層卷積
[問題]：3*3是最小的了，如何分解它提公升效率？
嘗試1*1卷積核引入提公升效率，不過由於1*1的卷積核無法顧及周邊資訊，所以只能作為乙個輔助，上圖的瓶頸結構從輸入輸出上來看等價於單層3*3網路
對比需學習引數，我們發現還是複雜但小的結構更少
另一種分解3*3卷積網路的方法，效果同樣不錯
這個看起來很蹩腳的網路架構（不對稱卷積網路）主要由google使用，它自家的inception有複雜的不對稱網路&特徵拼接結構（如上圖），有意思的是我學習tensorflow時嘗試寫過inception3的最終層結構，的確是個腦洞大開的東西，看了這節課才算明白了人家為什麼這麼設計。注意，上圖同時也使用了1*1瓶頸層。
cs231n筆記04 神經網路訓練（上）
主要有三種預處理形式。均值減法，每個特徵減去平均值，使每個維度中心移到原點。歸一化，使資料在各個維度規模差不多。如果是0中心的，可以用資料除它的標準差，另一種形式是最大最小歸一化，使資料在 1,1 pca和白化。首先，將資料中心化，再計算資料協方差矩陣。協方差矩陣svd分解，u的列是特徵向量，將已經...
CS231n課程筆記 神經網路筆記1（下）
內容列表 神經網路結構譯者注 下篇翻譯起始處 小節參考文獻 將神經網路演算法以神經元的形式圖形化。神經網路被建模成神經元的集合，神經元之間以無環圖的形式進行連線。也就是說，一些神經元的輸出是另一些神經元的輸入。在網路中是不允許迴圈的，因為這樣會導致前向傳播的無限迴圈。通常神經網路模型中神經元是分層的...
CS231N 7 卷積神經網路
1.assignments2 test the affine forward function num inputs 2 input shape 4,5,6 output dim 3 input size num inputs np.prod input shape weight size outp...