模型評價指標

2021-08-15 15:07:04 字數 959 閱讀 5719

機器學習模型中常見的是分類問題,分類模型的評價指標主要有:

(1)精確率

(2)召回率

(3)f值

(4)auc值(roc曲線)

分類問題可劃分成二分類和多分類問題,其中二分類最為常見,多分類問題大都也是轉化成二分類問題求解,因此本文主要基於二分類模型進行模型評價指標的分析。

1)給定標記好的模型訓練資料,經分類模型輸出的結果為混淆矩陣,具體如下:

當a=1時,f1 = 2*p*r/(p+r)

roc曲線

縱座標-tpr: tpr = tp/( tp+fn), 值域[0,1]

橫座標-fpr : fpr = fp/(fp+tn), 值域[0,1]

auc值等於roc曲線下方的面積,值域為[0,1]

roc曲線是由多組(fpr,tpr)數值擬合形成的曲線,其中(fpr,tpr)代表模型在不同閾值下基於混淆矩陣統計得到的結果。在分類模型中,模型輸出的初始結果是概率值,然後指定具體的閾值後輸出類別標籤(正類or 負類)。因此,roc曲線能夠彌補閾值選取問題導致分類器的衡量偏差(精確率和召回率均在指定的閾值下統計出的結果),能夠更好的衡量模型的分類效能,auc值越高,證明模型的分類能力越好。(需考慮正負樣本不均衡產生的問題)

參考文件:

回歸模型評價指標

回歸模型應用場景 趨勢分析 投資風險分析等 1 mae mean absolute error 平均絕對差值 2 mse mean square error 均方誤差,是回歸任務最常用的效能度量,最小二乘估計也是使用均方誤差 3 log對數損失函式 邏輯回歸 交叉熵損失,其實是由最大似然估計推導而來...

網路模型評價指標

最近看 又發現乙個容易忘記的點,網路的評價指標,就見到乙個乙個的縮寫 ac ja di sp se,dc人是懵的,在這裡寫上乙個筆記,方便自己檢視!accuracy 又稱準確率,中正確的部分佔總 的比重 a c tp tn tp tn f p fn ac tp tn tp tn fp fn ac t...

推薦模型評價指標 AUC

推薦中常用的模型評價指標有準確率,召回率,f1 score和auc。1.什麼是auc auc指標是乙個 0,1 之間的實數,代表如果隨機挑選乙個正樣本和乙個負樣本,分類演算法將這個正樣本排在負樣本前面的概率。值越大,表示分類演算法更有可能將正樣本排在前面,也即演算法準確性越好。2.auc的計算方法 ...