1、解決思想：
① 首先現從資料上來解決：（1）增大訓練集的容量（資料增強）。（2）解決樣本不均衡（資料增強）
① 在不改變網路結構的情況下，使用 dropout（類似rf中的booststaping）,只在訓練時有用，以概率p讓某些神經元引數
停止更新，但是下個批次樣本可能重新啟動
項的值不能太大（參考 多項式擴充套件線性回歸的過擬合問題）, 控制 w 與 x 值的大小至關重要， bn 層可以有效 控
制網路中 x 值得大小及其分布(將多層之後分布差異很大的資料 重新零中心化分布)，使** 累加結果不會產生偏置效果（過擬合）。
總結: bn 也算是一種另類的正則化,與l1l2正則化不同的是 bn 是通過重構多層神經網路輸出的較大的差異性輸出的分布 來解決 偏置問題. bn 改變的是 子項 的 x , l2 改變的是子項的 w
④ 加入 正則 化 ------- l1/l2正則 原理:通過約束引數的大小來緩解樣本輸入差異性較大導致的偏置效果. bn 改變的是 子項 的 x , l2 改變的是子項的 w
⑤ early stopping
⑥ label_smoothing
k = inputs.get_shape().as_list()[-1] # number of channels
return ((1-epsilon) * inputs) + (epsilon / k)
⑦ 更改網路的設計結構。eg：加入殘差結構 / 降低引數數量的方法包括greedy constructive learning、剪枝和權重共享等
2 關於正則化的幾個問題
1.神經網路中的正則化是什麼？
2.神經網路的正則化技術有哪些？為何能防止過擬合？
3.dropout和batchnorm混和使用的問題？
4.為何batchnorm出現後基本不用l2 regularization？
加深網路結構等...電腦常見問題解決思路總結
關閉 1 顯示器顯示 無訊號 no signal 分析思路 一般排除顯示屏有問題，先看看介面是否插穩，換乙個顯示屏如果任然不能顯示，再看看網絡卡 網絡卡一般是主機自帶的 排線是否插穩。最後如果電腦長期沒有清灰，開啟主機看看記憶體條上金把手是不是有灰。清理一下 這種情況一般是no signal 字樣只...
ubuntu常見問題解決
1.錯誤現象 e 無法獲得鎖 var lib dpkg lock open 11 資源臨時不可用 e 無法對管理目錄 var lib dpkg 加鎖，是不是另乙個包管理程式在使用它？無法執行其他apt get命令 解決辦法 第一種 比較暴力 把lock的檔案強行刪掉，解決問題 sudo rm var...
centos常見問題解決
1.執行yum命令時，能連線到網路，但報錯try again 有http 404,這個可能是你的centos版本過低，已經停更 2.連線不到網路 1 先cd etc sysconfig network scripts 再ls一下找到 ifcfg e 數字 有的版本e後邊的字母不一樣數字是不一樣的 這...