神經網路具有兩大能力：
一、學習能力，指在訓練集上精度。
二、泛化能力，指在測試集上精度。
對於乙個大型神經網路在乙個大資料集上跑，loss持續不降，第一步先減小資料量，比方說只在單張上跑，使用小epochsize，觀察每次loss下降情況，此時如果loss還是不下降說明網路沒有學習能力，應該調整模型，一般是先把網路規模縮小，因為任何乙個網路都會有學習能力，然而此時你的網路沒有學習能力，則一定是你的模型有地方出錯，而神經網路又是個黑盒，你只能摘除一部分網路，以排除「壞的」部分。此時網路的規模小了，又在乙個相對較小的資料集上跑，必然會有個很好的學習能力。此時可以不斷增加網路部件，來提高學習能力。
接下來是在保證網路具有學習能力的基礎上進行的，是使得網路具有泛化能力，可以通過擴大網路規模，與此同時增大資料量，可以使得網路具有很好的泛化能力。
Numpy 對於矩陣的操作持續更新
import numpy as np a np.random.randint 10,size 5,5 a array 0,8,3,0,2 0,6,6,6,3 0,3,6,8,7 2,6,1,4,4 4,1,5,6,4 陣列切片 隨機生成 的乙個矩陣 提取矩陣第 列 a 3 array 0,6,8,4...
perceptual loss 感知loss 介紹
在講感知損失函式之前，我們先講一下，網路所提取到的特徵代表什麼，在下圖中，layer1,layer2學到的是邊緣，顏色，亮度等底層的特徵 layer3開始變得複雜，學到的是紋理的特徵，layer4則學到的是一些有區別性的特徵，layer5學到的特徵是比較完整的，具有辨別性的關鍵特徵。可以知道cnn學...
訓練及loss以及測試集loss之間關係
train loss 不斷下降，test loss不斷下降，說明網路仍在學習 train loss 不斷下降，test loss趨於不變，說明網路過擬合 train loss 趨於不變，test loss不斷下降，說明資料集100 有問題 train loss 趨於不變，test loss趨於不變，...