分類評價指標小結P,R,Sn,Sp,F1,MCC

2021-10-23 22:26:47 字數 1919 閱讀 2784

mcc是應用在機器學習中,用以測量二分類的分類效能的指標,該指標考慮了真陽性,真陰性,假陽性和假陰性,通常認為該指標是乙個比較均衡的指標,即使是在兩類別的樣本含量差別很大時,也可以應用它。

mcc本質上是乙個描述實際分類與**分類之間的相關係數,它的取值範圍為[-1,1],取值為1時表示對受試物件的完美**,取值為0時表示**的結果還不如隨機**的結果,-1是指**分類和實際分類完全不一致。

在三分類**中,或者嚴謹的**中,三分類的評價指標一般有多個,例如,micro_f1,macro_f1,等。【其他的暫時忘記了,有一篇詳細介紹多分類指標的**,找到再標註上】

查準率亦稱為「準確率」,查全率亦稱為「召回率」

對於多分類的p,r計算,以三類a,b,c為例。

將a看作1類,bc看作0類,計算pa,ra。

將b看作1類,ac看作0類,計算pb,rb。

將c看作1類,ab看作0類,計算pc,rc。

p =(pa + pb + pc)/3

r = (ra + rb + rc)/3

更多類別時,以此類推。

sklearn.metrics.precision_score

sklearn.metrics.recall_score

sklearn.metrics.confusion_matrix(label, predict)

這三個sklearn函式,在計算多分類時,不可以直接使用,會出錯!!!

一般三分類的可以通過混淆矩陣計算,但隨著類別數增大,使用混淆矩陣會很麻煩,暫時還沒找到可以使用的庫函式。

metrics.multilabel_confusion_matrix
這個函式可以分別計算每個類別的二分類矩陣,即a=1,bc=0的混淆矩陣。

micro-f1: 計算方法:先計算所有類別的總的precision和recall,然後計算出來的f1值即為micro-f1; 使用場景:在計算公式中考慮到了每個類別的數量,所以適用於資料分布不平衡的情況;但同時因為考慮到資料的數量,所以在資料極度不平衡的情況下,數量較多數量的類會較大的影響到f1的值;marco-f1: 計算方法:將所有類別的precision和recall求平均,然後計算f1值作為macro-f1; 使用場景:沒有考慮到資料的數量,所以會平等的看待每一類(因為每一類的precision和recall都在0-1之間),會相對受高precision和高recall類的影響較大

1.用於不平衡資料集分類的g-mean

g-mean = √(tp/

(tp+fn)

*tn/

(tn+fp)

)= √(sn*sp)

(更新日期:20210508,隨時補充)

分類器評價指標

by the way,classic post like 分類指標準確率 precision 和正確率 accuracy 的區別 精度和召回率是廣泛用於資訊檢索和統計學分類領域的兩個度量值,用來評價結果的質量。其中精度是檢索出相關文件數與檢索出的文件總數的比率,衡量的是檢索系統的查準率 召回率是指檢...

分類演算法評價指標

第一種分析準則 第二種分析準則 0.0 0.20極低的一致性 slight 0.21 0.40一般的一致性 fair 0.41 0.60 中等的一致性 moderate 0.61 0.80 高度的一致性 substantial 0.81 1幾乎完全一致 almost perfect 例如對於眼底影象...

評價指標 分類演算法中常用的評價指標

對於分類演算法,常用的評價指標有 1 precision 2 recall 3 f score 4 accuracy 5 roc 6 auc ps 不建議翻譯成中文,尤其是precision和accuracy,容易引起歧義。1.混淆矩陣 混淆矩陣是監督學習中的一種視覺化工具,主要用於比較分類結果和例...