李巨集毅機器學習tips for deep learning
通過nn模型得到的f的均值和真實值之間的差值為bias
f和均值之間的差值為variance
（1）underfitting:bias大，variance小；modle無法擬合trainning data
解決方法：redesign model：增加更多的屬性或用更複雜的model
（2）overfitting:bias小，variance大；model可以擬合training data，但是在testing data上誤差較大
解決方法：增加訓練數據或regularization
regularization(正則化)
在loss函式後加乙個正則項，防止過擬合
l1正則化：
l2正則化：
目的是使引數也足夠小，這樣得到的函式就是乙個比較平滑的函式，而不是像上圖三中波動很大的函式，較平滑的函式往往認為是比較正確的
1.在training data上效果不好:new active functions,adaptive learning rate
(1)new active functions:sigmoid、relu、maxout
(2)adaptive learning rate:
learning rate:在梯度下降法中更新引數值時
中的yita就是learning rate，表示更新引數快慢
方法一：adagrad
方法二：rmsprop
方法三：momentum
2.在testing data上效果不好(overfitting):early stopping,regularization,dropout
(1)early stoppingdropout的思想是訓練整體dnn，並平均整個集合的結果，而不是訓練單個dnn。dnns是以概率p捨棄部分神經元，其它神經元以概率q=1-p被保留，捨去的神經元的輸出都被設定為零
dropout中使用了ensemble的思想，相當於訓練了很多個網路，然後取均值，所以效果比較好
機器學習訓練過擬合的解決辦法
過擬合 通俗一點地來說過擬合就是模型把資料學習的太徹底，以至於把雜訊資料的特徵也學習到了，這樣就會導致在後期測試的時候不能夠很好地識別資料，即不能正確的分類，模型泛化能力太差。例如下面的例子。上面左圖表示size和prize的關係，我們學習到的模型曲線如右圖所示，雖然在訓練的時候模型可以很好地匹配資...
單選框回顯效果的解決辦法
分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！給我老師的人工智慧教程打call！你好！這是你第一次使用 markdown編輯器 所展示的歡迎頁。如果你想學習如何使用markdown編輯器,可以仔細閱讀這篇文章，了解一下markdown的基本語法知識。全新的介面設計，將會帶來全新的寫作體驗 在創...
rpmdb open failed 的解決辦法
今天用yum安裝軟體竟然報錯 錯誤 rpmdb bdb0113 thread process 18550 140359256418112 failed bdb1507 thread died in berkeley db library 錯誤 db5 錯誤 30973 來自 dbenv failch...