選自本人知乎對於:求問:調參是否能對深度學習模型的效能有極大提公升?的回答
具體內容如下:
zfnet可以去了解一下,處於alex net和vgg net之間的結構,2023年的image net冠軍。相較於alex net修改了些引數。其實 vgg也算alex調參出來的從上述圖表中可以發現,越簡單網路調參提公升越大。這基本有兩個原因造成,1,簡單網路可以優化的空間多,2,簡單網路成績一般,比較容易提公升。
其實resnet v2,也算通過v1調參優化出來的,提公升就沒有多麼明顯了。
但是其實個人resnet v2貢獻更大,雖然提公升效果一般,但是提出了一種通用提公升殘差塊方法,應用更加廣泛。