第二十章：
你的貓識別器在開發集上的錯誤率是16%，訓練集上的錯誤率是15%。
偏差：在訓練集上的錯誤率。15%
方差：開發集上的表現比訓練集差多少。16%-15%=1%
總誤差 = 偏差+方差 = 16%
第二十一章：
通過偏差和方差來定義欠擬合和過擬合
訓練集錯誤率：1%
開發集錯誤率：11%
方差為：10%
訓練集誤差低，開發集誤差高。這就是過擬合。
訓練集錯誤率：15%
開發集錯誤率：16%
方差為：1%
訓練集和開發集誤差都很高。這就是欠擬合。
訓練集錯誤率：0.5%
開發集錯誤率：1%
方差為：0.5%
訓練集合開發集誤差都很低。擬合的很好。
第二十二章：
假設在乙個語音設別演算法中有14%的語音片段聲音嘈雜即使是人類也無法識別。假設我們的演算法：
訓練集錯誤率：15%
開發集錯誤率：30%
那麼：最優錯誤率（『不可避免偏差』）：14% 即使是世界上最好的語音系統，仍會有 14% 的誤差。
可避免偏差：15%-14%=1% 即訓練錯誤率和最優誤差率之間的差值。
方差：15% 即開發錯誤和訓練錯誤之間的差值。
最優錯誤率也被稱為貝葉斯錯誤率（bayes error rate），或貝葉斯率。
第二十三章：
如何處理偏差和方差
處理偏差（主要是欠擬合）：加深網路結構，l2正則化，bn層等等
處理方差（主要是過擬合）：增加資料集，dropout，正則化等等
第二十四章：
偏差和方差之間的權衡。
第二十五章:
避免偏差的技術：
1.加深網路結構
2.減少或者去除正則化
3.根據誤差分析來修改輸入特徵
4.修改模型結構
第二十六章：
訓練集誤差分析
在訓練資料上進行誤差分析，處理方式類似於在開發集上設定乙個 eyeball 開發集。當你的演算法有著高偏差時（例如演算法沒有很好擬合訓練集的時候）這將有所幫助。
第二十七章：
減少方差的技術：
1.增加訓練資料
2.加入正則化
3.加入提前終止
4.減少輸入特徵的數量和種類
5.減小模型規模
吳恩達《機器學習訓練秘籍》讀書筆記 註解
21.偏差和方差舉例 22.與最優錯誤率比較 23.處理偏差和方差 24.偏差與方差間的權衡 25.減少可避免偏差的技術 26.訓練集誤差分析 27.減少方差的技術 加大模型的規模 在神經網路中增加神經元 層，或增加輸入特徵 可以減少偏差，但是由於增加了模型複雜度容易產生過擬合，所以可能會增加方差。...
吳恩達機器學習筆記
為了解決實際生活中的問題，我們通常需要乙個數學模型。比如，小明有乙個房子 他想賣掉房子 為了知道房子的 小明收集了該地區近兩年的房屋交易 他發現房屋 與房屋大小呈正相關，所以他畫了了一幅圖 小明的房屋大小用紅色的 代替。可見和小明房屋一樣大小的房子並不存在，而類似的房屋 又有很大差別，如此小明決定用...
吳恩達機器學習感悟
吳恩達機器學習，斯坦福2014筆記 由8.2 神經元和大腦想到的 神經重連實驗，比如眼睛連到聽覺皮層，則聽覺皮層學會了看 眼睛連到觸覺皮層，則觸覺皮層學會了看 舌頭上加攝像頭關聯的電極陣列，則負責舌頭感知的皮層學會了看。這寫neuron re wiring實驗，給出的結論是大腦各區使用的是同一種演算...