第三部分機器學習 ML 策略1 6 筆記

1.11 超過人的表現

surpassing human-level performance

例子分類任務

case1：可以認為貝葉斯誤差為0.5%，可避免偏差是0.1%，方差是0.3%，應該側重於調整方差。

case2：訓練誤差以及開發誤差以及超過了人類水平，很難評價是該調整方差還是偏差，模型的精度肯定還是可以進一步改進的，但是並不清楚最優貝葉斯誤差是多少，在演算法調整的方向上會變得不清晰，這也就意味著在超過人類水平，演算法改進難度增加。

機器學習超過人類水平的領域：

注：上述四個領域，採用的資料多是結構化資料(structural data)，而且並非自然感知問題，即非計算機視覺、語音識別、nlp問題。人類在自然感知問題上會很在行。並且在處理上述問題時，可以獲取並訪問到大量的資料，可能比任何人能夠獲取的資料還要多。

1.12 改善你的模型表現

improving your model performance

乙個監督學習演算法達到實用，需要滿足兩個前提：

針對訓練集，模型擬合的足夠好 —— 低可避免偏差

模型在開發集和測試集上泛化能力較強 —— 方差不能太大

提公升機器學習系統的策略：

低偏差訓練更大的模型

增加訓練時間

使用更好的優化演算法

新的網路架構 (rnn、cnn etc.)

超參搜尋

低方差更多的資料

正則化 —— l2 、dropout 、 data augmentation ...

新的網路架構

超參搜尋

第三部分 機器學習 ML 策略1 6 筆記