分類問題中效能評價指標

2021-09-25 03:34:31 字數 1232 閱讀 5543

分類問題中會出現多種演算法,那麼自己如何知道演算法效能的優劣呢,這就需要評價演算法效能好壞的指標,這裡介紹幾個常用的指標.

1.準確率

評價分類問題的效能的指標一般是分類準確率,其定義是對於給定的資料,分類正確的樣本數佔總樣本數的比例。accuracy = **正確的樣本數 / 所有樣本數。但是這一指標在不均衡的資料上表現很差。比如說我的樣本有990個正樣本,10個負樣本,我直接把所有樣本都**為正,我的準確率為99%,居然有這麼高得準確率,但我的分類方法實際是非常不具有說服力的。

2.精準率和召回率

對於二分類問題常用的評價指標是精確率和召回率。通常以關注的類為正類,其他類為負類,分類器在資料集上的**或者正確或者不正確,我們有4中情況,在混淆矩陣中表示如下:

精準率 :precision=tp / (tp+fp),即在所有被**為正的測試資料中,真正是正的比率。

召回率 :recall=tp / (tp+fn),即在所有實際為正的測試資料中,真正是正的比率。

為了綜合這兩個指標並得出量化結果, 又發明了 f1score 。

f1score= 2*(precision * recall) / (precision + recall)

顯然上面三個值都是越大越好,但往往在實際當中p和r是矛盾的,很難保證雙高。

不同的分類問題,對精確率和召回率的要求也不同。

例如:假幣**,就需要很高的精確率,我需要你給我的**資料具有很高的準確性。

腫瘤**就需要很高的召回率。「寧可錯殺三千,不可放過乙個」。

對於多分類問題這三個效能指標同樣可使用。

sklearn中的效能指標

在模型通過 gridsearchcv 進行特徵調優的過程中,scoring 引數的選擇十分重要。通常模型用的最多的還是 f1 和 roc-auc,但是在多分類下,選擇 roc_auc 或者 f1 作為分類器的 scoring 標準就會報錯,而需要使用 f1_weighted 比較合適。

sklearn庫中的cross_val_score中需要對效能指標scoring進行選擇:

對於二分類問題多選擇f1和roc_auc

多分類常選擇f1_weighted

具體的評價指標選擇可參考官方文件

深度學習分類問題中accuracy等評價指標的理解

在處理深度學習分類問題時,會用到一些評價指標,如accuracy 準確率 等。剛開始接觸時會感覺有點多有點繞,不太好理解。本文寫出我的理解,同時以語音喚醒 喚醒詞識別 來舉例,希望能加深理解這些指標。1,tp fp tn fn 下表表示為乙個二分類的混淆矩陣 多分類同理,把不屬於當前類的都認為是負例...

分類問題的評價指標

tp true positive 真陽性 為正,實際也為正 fp false positive 假陽性 為正,實際為負 fn false negative 假陰性 與負 實際為正 tn true negative 真陰性 為負 實際也為負 以分類問題為例 真陽性的定義是 為正,實際也是正 這個最好理...

SQL SERVER中 效能問題

1.對查詢進行優化,應盡量避免全表掃瞄,考慮在 where 及 order by 涉及的列上建立索引。2.避免使用 left join 和 null 值判斷。left join 比 inner join 消耗更多的資源。3.避免在 where 子句中使用 或 操作符,否則引擎可能放棄使用索引而進行全...