fp：false positive 假陽
tp：true positive 真陽
fn：false negative 假陰
tn：true negative 真陰
precision（準確率)p=t
ptp+
fp
p=\frac
p=tp+f
ptp
recall(召回率) r=t
ptp+
fn
r=\frac
r=tp+f
ntp
f1,準確率與召回率的調和平均值2f1
=1p+
1r
\frac=\frac+\frac
f12=
p1+
r1,f1=
2tp2
tp+f
p+fn
f_1=\frac
f1=2t
p+fp
+fn2
tpp-r曲線：橫軸是召回率，縱軸是準確率。整條p-r曲線是將閾值從高到低移動生成的。
roc曲線：橫軸為假陽性率（fpr
=fpn
fpr=\frac
fpr=nf
p），縱軸為真陽性率（tpr
=tpp
tpr=\frac
tpr=pt
p），roc曲線是通過不斷移動分類器的閾值（由高到低）來生成的。
auc：指roc曲線下面積，量化模型效能。
p-r曲線與roc曲線的區別：當正負樣本的分布發生變化時，roc的形狀能夠基本保持不變，但是p-r曲線會發生劇烈變化。若想要看到模型在特定資料集上的表現，可選擇p-r曲線。
混淆矩陣
（待補充）
mse：mse
=1m∑
i=1m
(yi−
y^i)
2mse=\frac\sum_^m(y_i-\hat y_i)^2
mse=m1
∑i=
1m(
yi−
y^i
)2（對異常值敏感,離群值較多時，不合適）
r ms
e=ms
e=1m
∑i=1
m(yi
−y^i
)2
rmse=\sqrt =\sqrt \sum_^m(y_i-\hat y_i)^2}
rmse=m
se=
m1∑
i=1m
(yi
−y^
i)
2（**過程中，**錯誤的標準偏差σ
\sigma
σ，68-95-99.7規則：68%的值落在1
σ1\sigma
1σ之內，95%的值落在2
σ2\sigma
2σ之內，99.7%的值落在3
σ3\sigma
3σ之內）mae：mae
=1m∑
i=1m
∣yi−
y^i∣
mae=\frac\sum_^m|y_i-\hat y_i|
mae=m1
∑i=
1m∣
yi−
y^i
∣（對異常值不敏感，離群值較多時可使用mae）
mape(平均絕對百分比誤差)：map
e=∑i
=1m∣
yi−y
^iyi
∣100
mmape=\sum_^m|\frac|\frac
mape=∑
i=1m
∣yi
yi
−y^
i∣
m100
，相比於mse，mape相當於把每個點的誤差進行了歸一化，降低了離群點帶來的絕對誤差的影響。
holdout：70-30，80-20
交叉驗證：k-fold，將樣本分為k個大小相等的子集，依次遍歷，每次把當前子集作為驗證集，其餘子集作為訓練集，最後對k次評估求均值作為最終的評估指標。（k通常取10）
留一法：每次留1個樣本進行驗證，共進行m次驗證，時間開銷極大。
自助法：基於自助取樣的檢驗方法，對於總數為n的樣本集合，進行n次又放回的隨機抽樣，得到大小為n的訓練集，當n趨於無窮大時，會有約limn
→∞(1
−1n)
n≈
36.8
%limn→∞
(1−
n1)
n≈36
.8%的樣本未被選擇過，可作為驗證集。
過擬合
指模型泛化能力差，即在訓練集上效果好，測試集上效果差。（方差大）
如何克服：增加資料集，降低模型複雜度，增加正則項，dropout（神經網路），整合學習等
欠擬合
指模型在訓練集上效果差（偏差大）
如何克服：增加模型複雜度，增加特徵，減小正則項係數等。
機器學習之模型評估
準確率是指分類正確的樣本佔總樣個數的比例 accuracy frac n 為被正確分類的樣本個數，n 為總樣本的個數 準確率的侷限性 準確率是分類問題中最簡單也是最直觀的評價指標，但存在明顯的缺陷，當不同總類的樣本比例非常不均衡時，佔比大的類別往往成為影響準確率的最主要因素。比如 當負樣本佔99 分...
機器學習之模型評估與選擇
分為五部分 1 經驗誤差及過擬合 2 評估方法 3 效能度量 4 比較檢驗 5 偏差與方差。錯誤率 error rate 分類錯誤的樣本數佔總樣本數。精度 accuracy 1 錯誤率。誤差 error 學習器的實際 輸出和樣本的真實輸出的差異。在訓練集上的是訓練誤差，在新樣本上的是泛化誤差。過擬合...
機器學習之模型評估與選擇
1.誤差及擬合 訓練誤差 通過訓練集訓練出的模型，在訓練集上的 輸出與實際值之間的誤差 泛化誤差 模型在測試集上的誤差 訓練集用來訓練模型，測試集用來驗證模型的準確性 一般會把樣本7 3區分成訓練集和測試集，普遍情況下，判斷乙個模型是否優秀，不是看在訓練集上的表現，更多的是看模型在測試集上的表現，即...