1 在training set上就已經效果不佳
屬於模型就沒train好。
case 1:受到區域性最優影響,沒有收斂到全域性最優
solution:momentum(adam = rmsprop + momentum)
case 2:層數高時,靠近output的層率先快速收斂,靠近input的層則效果不明顯,導致train不好
solution:rbm,啟用函式選擇(relu)
boosting
2. 在testing set上效果不佳
over fitting
solution 1:early stopping
train到後面其實是對training set的over fitting了。由於testing set未知,可以分割出乙個validation set來充當testing set。
solution 2:regularization
修改lost function,加乙個正則項來限制weight的over fitting,常見的有l2 norm(weight decay),l1 norm
solution3:dropout
solution4:bagging
心情不好怎麼辦
國王有七個女兒,這七位美麗的公主是國王的驕傲。她們那一頭烏黑亮麗的長髮遠近皆知,所以國王送給她們每人一百個漂亮的髮夾。有一天早上,大公主醒來,一如往常地用髮夾整理她的秀髮,卻發現少了乙個髮夾,於是她偷偷地到了二公主的房裡,拿走了乙個髮夾。二公主發現少了乙個髮夾,便到三公主房裡拿走乙個髮夾 三公主發現...
心情不好怎麼辦
國王有七個女兒,這七位美麗的公主是國王的驕傲。她們那一頭烏黑亮麗的長髮遠近皆知,所以國王送給她們每人一百個漂亮的髮夾。有一天早上,大公主醒來,一如往常地用髮夾整理她的秀髮,卻發現少了乙個髮夾,於是她偷偷地到了二公主的房裡,拿走了乙個髮夾。二公主發現少了乙個髮夾,便到三公主房裡拿走乙個髮夾 三公主發現...
企業會議效果差怎麼辦?
管理例會是處理日常問題的主要手段。但是,80 的公司例會效果都不是很好。原因是 另外,會議中,情況匯報多,原因分析少 問題說明多,解決方案少 聽得多,說的少。那麼,如何解決上述問題呢?1.不要相信例會可以解決所有問題 例會可以解決協調性問題,計畫安排 任務分配問題。但是,問題的根源性分析最好不要涉及...