關於模型的測評方法和指標選擇

2021-10-18 18:05:22 字數 1770 閱讀 2382

常用評價指標(p\r\f-score)

精確率(precision):**為正確的樣本中,原本就是對的的比例(越大越好,趨近於1為理想狀態)

召回率(recall):原本為正確的樣本中,通過模型**為正確的比例(越大越好,趨近於1為理想狀態)

f-score:綜合評價精確率和召回率的指標,2/(精確率的倒數+召回率的倒數),越大越好,為1的時候說明精確率和召回率都達到最大值

其他指標

準確率:針對整體樣本空間而言,模型**正確(對的**為對,錯的**為錯)佔整個樣本空間的比例(越大越好)

fp:真實值為錯,**為對,佔樣本比率(越小越好);推廣:**結果和真實結果相反佔據的比例

tp:原本是正確的,**也是正確的比率(越大越好);推廣:**結果和真實結果相同佔據的比例

rp 曲線(precision-reback)

精確率和召回率曲線:以r為橫座標,p為縱座標,調整分類閾值,得到每個rp點,獲得最後的rp曲線;因為在**問題中,通常返回為概率**,受閾值的影響,因此不同的閾值對應了不同的rp值。

評價模型的好壞,通常的指標是,rp曲線越接近座標(1,1)的位置越好。如果乙個模型的rp曲線完全包裹另乙個,說明此模型效果好

如果面積重疊無法比較:則可以通過平衡點,精確率和召回率相同的時候,對角線點(查準率=查全率,break-even point,bep)來進行判斷,圖中說明a模型最優

roc和auc曲線

roc:二分類問題中的使用較好,衡量模型穩定性。真正率和假正率曲線(tp-fp曲線);(注意:測試資料集通常是多分類,資料集中包含反例資料)

真正率為縱軸,假正率為橫軸,不同的閾值組成點繪製圖形,各點反應的指標是,在不同的閾值條件下,這個模型返回的真正率和假正率的值

auc:roc的面積積分,取值通常為[0.5 - 1]反應的是乙個概率值,表示給定乙個樣本,在多大的概率下能夠判斷為正,積分後排除了閾值對真正率的影響;auc越高說明模型準確率高

auc和roc的計算通常在測試資料集中存在正負樣本,需要更加精確的進行分類,對模型要求更加嚴格,不允許錯誤分類。常用於廣告推薦

ks曲線

以不同閾值為橫座標,tp和fp分別作為縱座標;畫出兩條曲線,找到每個閾值下兩曲線差值,ks=max(最大差值)

評價指標的選擇

在正負樣本量足夠的情況下,roc曲線對模型**能力的判斷較好;

而如果正負樣本不均衡的情況下,rp曲線的效果好;

roc和auc在正負樣本齊全的測試資料集中判斷模型的準確率;

rp在測試資料集不均衡的條件下判斷模型的表現效能,精確率和泛化能力的同時指標

rp\roc\auc曲線,均是排除模型**閾值的條件下,對模型進行效果進行測評。畫製曲線都是通過設定不同的閾值獲得對應的座標,畫出曲線。

常用的機器學習模型評估和模型選擇方法

目錄2 模型選擇 3 模型評估 機器學習的目的是通過對訓練資料的訓練,能夠對未知的資料有很好的應用效果。訓練誤差是模型對訓練集的計算損失,測試誤差是模型對測試集的計算損失,聽起來好像是廢話。舉個栗子,乙個資料集有100條,其中80條用來做訓練集,20條用來做測試集,用模型對這80條資料進行訓練,得到...

關於指標傳遞和指標的指標

一開始沒有理解,導致對這個概念非常的模糊和不解。最近看完 徹底搞定c語言指標詳解 裡面關於指標的指標的解釋有了頓悟感。其實,很好理解,是我把它想複雜了。我們都知道,實參和形參的區別。形參並無法改變實參,這就是值傳遞。還有一種叫指標傳遞,實質就是去操作指標的指向物件。例子如下 exchg2 int p...

關於指標和指向指標的指標

如果在乙個函式內部你需要修改指標所指向的資料內容,那就使用指標,如果你要修改指標的指向,那就使用指向指標的指標。如果函式的引數是乙個指標,不要指望用該指標去申請動態記憶體。test函式的語句getmemory str,200 並沒有使str獲得期望的記憶體,str依舊是null。void getme...