模型評價指標ROC AUC KS值

2021-10-10 21:23:48 字數 917 閱讀 6395

roc曲線(receiver operating characteristic),是乙個二維的曲線圖,橫座標是fpr(即實際為負例樣本,被錯誤判斷為正例的比率),縱座標tpr(即實際為正例樣本,被正確判斷為正例的比率)。roc是怎麼畫出來的?遍歷所有的概率值,例如取概率大於0.7的判斷為正例,小於0.7的判斷為負例,對應可以算出一組(fpr,tpr),閾值最大時,對應座標點為(0,0),閾值最小時,對應座標點(1,1)。曲線距離左上角越近,證明模型效果越好。如下圖紅線。

主要作用:

roc曲線能很容易的查出任意閾值對學習器的泛化效能影響。

有助於選擇最佳的閾值(即界定正負樣本的概率)。roc曲線越靠近左上角,模型的查全率就越高。最靠近左上角的roc曲線上的點是分類錯誤最少的最好閾值,其假正例和假反例總數最少。

可以對不同的學習器比較效能。將各個學習器的roc曲線繪製到同一座標中,直觀地鑑別優劣,靠近左上角的roc曲所代表的學習器準確性最高。

roc只能通過圖形判斷,auc則是用標量來衡量roc的值。auc值為roc曲線所覆蓋的區域面積,顯然,auc越大,分類器分類效果越好。

當auc=1,這個分類器可以完美的分類,但是這個是不存在;

當0.5ks曲線和roc曲線類似,ks值是ks圖中兩條線之間最大的距離,其可以判斷分類器的劃分能力。模型輸出一般為概率,我們會設定乙個閾值來界定發生與不發生,比如50%以上表示發生,50%一下表示不發生。這個閾值就是ks曲線的橫軸。

ks的縱軸分別表示fpr(紅線)、tpr(綠線)與tpr與fpr的距離。從下圖可以看出,當閾值為0.41的時候,差距最大及粉色線的頂點。

模型評價指標

機器學習模型中常見的是分類問題,分類模型的評價指標主要有 1 精確率 2 召回率 3 f值 4 auc值 roc曲線 分類問題可劃分成二分類和多分類問題,其中二分類最為常見,多分類問題大都也是轉化成二分類問題求解,因此本文主要基於二分類模型進行模型評價指標的分析。1 給定標記好的模型訓練資料,經分類...

回歸模型評價指標

回歸模型應用場景 趨勢分析 投資風險分析等 1 mae mean absolute error 平均絕對差值 2 mse mean square error 均方誤差,是回歸任務最常用的效能度量,最小二乘估計也是使用均方誤差 3 log對數損失函式 邏輯回歸 交叉熵損失,其實是由最大似然估計推導而來...

網路模型評價指標

最近看 又發現乙個容易忘記的點,網路的評價指標,就見到乙個乙個的縮寫 ac ja di sp se,dc人是懵的,在這裡寫上乙個筆記,方便自己檢視!accuracy 又稱準確率,中正確的部分佔總 的比重 a c tp tn tp tn f p fn ac tp tn tp tn fp fn ac t...