1.1.1 混淆矩陣
在分類任務下,**結果(predicted condition)與正確標記(true condition)之間存在四種不同的組合,構成混淆矩陣(適用於多分類)
1.1.2 精確率(precision)與召回率(recall)還有其他的評估標準,f1-score,反映了模型的穩健型
ret = classification_report(y_test, y_predict, labels=(2,4), target_names=("良性", "惡性"))
print(ret)
假設這樣乙個情況,如果99個樣本癌症,1個樣本非癌症,不管怎樣我全都**正例(預設癌症為正例),準確率就為99%但是這樣效果並不好,這就是樣本不均衡下的評估問題
問題:如何衡量樣本不均衡下的評估?
fpr = fp / (fp + tn)
# 0.5~1之間,越接近於1約好
y_test = np.where(y_test > 2.5, 1, 0)
print("auc指標:", roc_auc_score(y_test, y_predict)
精確率(precision)與召回率(recall)【知道】
精確率 -- 查的準不准
召回率 -- 查的全不全
f1-score
roc曲線和auc指標【知道】
auc注意:
分類結果的評估方法
模型評估可以用在模型型別 調節引數及特徵組合中。通過模型評估來估計訓練得到的模型對於非樣本資料的泛化能力,並且還需要恰當的模型評估度量手段來衡量模型的效能表現。通常在回歸問題可以採用平均絕對誤差 mean absolute error 均方誤差 mean squared error 均方根誤差 ro...
分類演算法的評估方法
幾個常用術語1 true positives tp 被正確地劃分為正例的個數,即實際為正例且被分類器劃分為正例的例項數 2 false positives fp 被錯誤地劃分為正例的個數,即實際為負例但被分類器劃分為正例的例項數 3 false negatives fn 被錯誤地劃分為負例的個數,即...
分類模型的評估方法簡介
一 混淆矩陣 混淆矩陣 confusion matrix 於資訊理論,在機器學習 人工智慧領域,混淆矩陣 confusion matrix 又稱為可能性 或是錯誤矩陣,是一種用矩陣呈現的視覺化工具,用於有監督學習,無監督學習通常用匹配矩陣 matching matrix 其名字源自它容易表明多個類是...