2.1 錯誤率與精度:
m個樣本,有a個分錯。
錯誤率:e=
a/m
精度:acc
=1−a
/m
2.2 查準率、查全率和f1:
tp:真正例 / tn:真反例
fp:假正例 / fn:假反例
查準率:p=
tptp
+fp
查全率:r=
tptp
+fn
f1是查準率和查全率的調和平均數: 1f
1=12
(1p+
1r),
即:f1
=2×p
×rp+
r 與算術平均數相比,調和平均數更加重視較小值。如果對查全率和查準率有偏好,引出了加權調和平均數: fβ
=(1+
β2)×
p×r(
β2×p
)+r
其中β大於1時候,查全率r有更大的影響,小於1時查準率p會有更大的影響。
2.3 roc和auc:
將m+個正例和m-個負例放進模型,然後**值從小到大排列,模型目標是讓正例盡可能小,負例盡可能大,從最小樣例開始,如果是正例,就向上移一格,也就是(x
+1m+
,y) ,座標(0,1)就是所有正例都排在負例之前的理想情況,如果是負例就向右移動一格(x
roc曲線下的面積就是auc值,auc越接近1證明模型效果越好。
2.4 回歸模型評價指標
mse:均方差
mae:平均絕對值誤差
rmse:ms
e‾‾‾
‾‾√
tss:總平方和,表示樣本之間的差異情況。
rss:殘差平方和,表示**值和樣本值之間的差異情況 r2
:取值範圍(負無窮,1],值越大表示模型越擬合訓練資料;最優解是1;當模型**為隨機值的時候,有可能為負;若**值恒為樣本期望,為0 r2
=1−r
ssts
s=1−
∑(yi
−ŷ i
)2∑(
yi−y
⎯⎯)2
3.1 留出法
劃分出互斥的訓練集和測試集,注意兩個集合的分布盡量保持一致,通常採用分層取樣的方法。通過若干次的隨機劃分得到比較穩定可靠的結果。
3.2 交叉驗證法
p次k折的交叉驗證法,就是k-1個子集作為訓練集,剩下的1個作為測試集。
3.3 自助法
機器學習 模型評估指標
from sklearn.metrics import accuracy score print 準確率 accuracy score y true,y pred,normalize true print 正確分類的數量 accuracy score y true,y pred,normalize ...
機器學習 回歸評估指標
1.2 均方誤差 mse 1.3 判定係數 r 2 參考資料 機器學習 目錄 機器學習 分類評估指標 mae mean absolute error 平均絕對誤差,從圖形上看,mae 就相當於將資料點與擬合之間之間的距離絕對值之和。mae 缺點 絕對值函式是不可微分的,這不利於使用諸如梯度下降方法,...
機器學習 回歸評估指標
1.2均方誤差 mse 1.3判定係數 r 2 參考資料 mae mean absolute error 平均絕對誤差,從圖形上看,mae 就相當於將資料點與擬合之間之間的距離絕對值之和。mae 缺點 絕對值函式是不可微分的,這不利於使用諸如梯度下降方法,因此我們將使用更常見的 mse 均方誤差。f...