在訓練ntsnet的時候，使用了vgg_16bn的baseline，將其設定為unpretrained的時候，發現vgg檔案使用了預設的kaiming初始化。
但遇到這樣乙個問題：把此時的vgg_16bn的引數全部列印處理，它有很多層的w權重為接近0的特別小的數，導致資料變化的程度不足以影響得到的結果。
**train loss不變的情況，一般是因為前饋網路中的有些地方的引數 很大或者很小，致資料變化的程度不足以影響得到的結果。**明確前饋網路哪個地方出現這個情況，特別是對源**進行改動的地方。
最後，不得不說，鼎文大佬就是nb！！！！！！！！！！
批量訓練網路
如果整個資料庫中的數量不是每批資料數量的整數倍，體統會將剩餘的放入最後一批 import torch import torch.utils.data as data torch.manual seed 1 reproducible batch size 5x torch.linspace 1,10,...
神經網路訓練
學習了bp神經網路演算法，剛開始最終要的一點不明白的就是前一層和後一層 這裡指的只有三層，輸入層，隱藏層，輸出層 的權重，其實神經網路演算法中，前一層的每乙個節點和後一層的每乙個節點都有連線權重，初始權重是隨機的。而更新權重是通過輸出層的值來反向更新的。基本過程如下 1.輸入第乙個訓練樣本 對應的就...
蒸餾法訓練網路
在ml領域中有一種最為簡單的提公升模型效果的方式，在同一訓練集上訓練多個不同的模型，在 階段採用綜合均值作為 值。但是，運用這樣的組合模型需要太多的計算資源，特別是當單個模型都非常大的時候。已經有相關的研究表明，複雜模型或者組合模型的中 知識 通過合適的方式是可以遷移到乙個相對簡單模型之中，進而方便...