我們需要通過評價指標來判斷模型的好壞:
1、分類準確度:即**成功的在總數中的佔比
2、利用混淆矩陣:
fn:false negative,被判定為負樣本,但事實上是正樣本。fp:false positive,被判定為正樣本,但事實上是負樣本。tn:true negative,被判定為負樣本,事實上也是負樣本。tp:true positive,被判定為正樣本,事實上也是證樣本。
2.1、精準率和召回率
精準率(查準率)::**值為1,且**對了的比例,即:我們關注的那個事件,**的有多準。
召回率(查全率):所有真實值為1的資料中,**對了的個數,即:我們關注的那個事件真實的發生情況下,我們成功**的比例是多少。
2.2、f1 score
f1 score是精準率和召回率的調和平均值,可以平衡這兩個指標。
3、roc曲線
roc曲線(receiver operation characteristic cureve),描述tpr和fpr之間的關係。x軸是fpr,y軸是tpr。
3.1、分類閾值
分類閾值,即設定判斷樣本為正例的閾值threshold
3.2、tpr
**tpr:**為1,且**對了的數量,佔真實值為1的資料百分比。**很好理解,就是召回率。
3.3、fpr
**fpr:**為1,但**錯了的數量,佔真實值不為1的資料百分比。**與tpr相對應,fpr除以真實值為0的這一行所有的數字和 。
4、auc:直觀判斷模型的好壞
一般在roc曲線中,我們關注是曲線下面的面積, 稱為auc(area under curve)。這個auc是橫軸範圍(0,1 ),縱軸是(0,1)所以總面積是小於1的。
1、均方誤差mse
**值與真實值之差的平方和,再除以樣本量
2、均方根誤差rmse
為了消除量綱,將mse開方
3、平均絕對誤差mae
**值與真實值之差的絕對值,再除以樣本量
4、r方
因此用1減去較少的錯誤除以較多的錯誤,實際上是衡量了我們的模型擬合住資料的地方,即沒有產生錯誤的相應指標。
模型評價指標
機器學習模型中常見的是分類問題,分類模型的評價指標主要有 1 精確率 2 召回率 3 f值 4 auc值 roc曲線 分類問題可劃分成二分類和多分類問題,其中二分類最為常見,多分類問題大都也是轉化成二分類問題求解,因此本文主要基於二分類模型進行模型評價指標的分析。1 給定標記好的模型訓練資料,經分類...
分割評價指標
iou標準介紹 1目標檢測和影象分割的評價標準是一樣的,核心都是使用iou標準 2 目標檢測和影象分割使用的iou方法都是一樣的,不同的是目標檢測面向判斷選定框和 框 而影象分割面向的是選定掩碼和 掩碼 3 在目標檢測中,檢測目標用box進行評價。我們的iou評價方式為 將 框和選定框放入公式中去判...
nlp BLEU ROUGE評價指標
bleu,rouge一般在翻譯裡用 bltk工具箱中就有bleu的評估指標實現 bleu通過比較 語句和參考語句裡的n gram 從1 gram到4 gram 的重合程度。顯然,重合程度越高,譯文的質量就高。1 gram主要是用於比較單個單詞的準確率,而2 4 gram則用於衡量句子的流暢性。這個評...