混淆矩陣(confusion matrix)中包含四種資料:(t/f表示**正確與否,p/n表示被**為正例還是負例)
由以上四種資料得到四種比率如下:
tpr(true positive rate,又稱靈敏度:sensitivity):tpr=tptp+fn
,即正例被正確**為正例的數目實際正例的數目
fpr(false positive rate):fpr=fpfp+tn
,即負例被錯誤**為正例的數目實際負例的數目
fnr(false negative rate):fnr=fntp+fn
,即正例被錯誤**為負例的數目實際正例的數目
tnr(true negative rate,又稱 特指度:specificity):tnr=tnfp+tn
,即負例被正確**為負例的數目實際負例的數目
評價指標
precision,即查準率:p=tp/(tp+fp)
recall,即查全率:r=tp/(tp+fn)
f-score,即precision和recall的調和平均值,更接近precision和recall中較小的那乙個值:f=2×p×r/(p+r)
accuracy,分類器對整體樣本的分類能力,即正例分為正例,負例分為負例:a=tp+tn/(tp+fp+fn+tn)
roc曲線:如何繪製:
統計正負樣本數量:p/n
橫座標刻度間隔:1/n
縱座標刻度間隔:1/p
根據**概率從高到低排序
(0, 0)開始
遇到正樣本,沿縱軸繪製一刻度;
遇到負樣本,沿橫軸繪製一刻度;
(1, 1)結束
和p-r曲線的區別
auc參考資料分類演算法中常用的評價指標
機器學習的模型評估
機器演算法有很多,各種模型的在不同的場景下各有優劣。所以需要一些方法來對機器學習的方法有乙個判斷。真實情況 正例反例 正例tp 真正例 fn 假反例 反例fp 假正例 tn 真反例 p tpt p fp r tptp fnroc reciever operating characteristic 是...
機器學習模型評估方法
分類模型評價度量 概率輸出型 這個有邏輯回歸 隨機森林 梯度提公升 adaboost等演算法,都是以概率作為輸出的。要想把概率型輸出變為分型別輸出,只要為其設立乙個閾值即可。positive predictive value 陽性 值 or precision 精度 陽性 值被 正確的比例。nega...
機器學習 模型評估指標
from sklearn.metrics import accuracy score print 準確率 accuracy score y true,y pred,normalize true print 正確分類的數量 accuracy score y true,y pred,normalize ...