摘錄：
如果auc=0.70，代表給定乙個正樣本和乙個負樣本，在70%的情況下，模型對正樣本的打分高於對負樣本的打分。
以前理解是覺得使用f1值（即採用召回率和精確率）來評價模型會更好。
因為召回率和精確率更直觀，可以使業務方對模型的**效果有較準確預期。
那auc有什麼用處呢？什麼時候應該使用呢？
接下來本篇會將roc曲線與pr曲線做對比，並且介紹auc的應用場景
相比p-r曲線，roc曲線有乙個特點，當正負樣本的分布發生變化時，roc曲線的形狀能夠基本保持不變，而p-r曲線的形狀一般會發生較劇烈的變化。
舉例來說，圖2.3是roc曲線和p-r曲線的對比圖，其中圖2.3（a）和圖2.3（c）是roc曲線，圖2.3（b）和圖2.3（d）是p-r曲線，圖2.3（c）和圖2.3（d）則是將測試集中的負樣本數量增加10倍後的曲線圖。
可以看出，p-r曲線發生了明顯的變化，而roc曲線形狀基本不變。這個特點讓roc曲線能夠盡量降低不同測試集帶來的干擾，更加客觀地衡量模型本身的效能。
這有什麼實際意義呢？在很多實際問題中，正負樣本數量往往很不均衡。比如，計算廣告領域經常涉及轉化率模型，正樣本的數量往往是負樣本數量的1/1000甚至1/10000。若選擇不同的測試集，p-r曲線的變化就會非常大，而roc曲線則能夠更加穩定地反映模型本身的好壞。
所以，roc曲線的適用場景更多，被廣泛用於排序、推薦、廣告等領域。
也就是說auc的計算方法同時考慮了學習器對於正例和負例的分類能力，在樣本不平衡且可能小幅變化的情況下，依然能夠對分類器做出合理的評價，是對模型整體效能的評價。
就是我們在訓練模型後，假如用來**的資料的分布（即正負樣本比例會有變化）有可能會變化的話，用auc高的模型穩定，不會說對不同分布的資料很敏感，pr曲線是對具體某種分布的資料集的評估，分布變的話，pr曲線變化較大
auc對樣本類別是否均衡並不敏感，這也是不均衡樣本通常用auc評價學習器效能的乙個原因。
auc越大表示模型區分正例和負例的能力越強
然而，roc 曲線不會隨著類別分布的改變而改變的優點在一定程度上也是其缺點。因為 roc 曲線這種不變性其實影響著的是 auc 值，或者說是評估分類器的整體效能。但是在某些場景下，我們會更關注正樣本，這時候就要用到 pr 曲線了。
比如說信用卡欺詐檢測，我們會更關注 precision 和 recall，比如說如果要求**出為欺詐的人盡可能準確，那麼就是要提高 precision；而如果要盡可能多地**出潛在的欺詐人群，那麼就是要提高 recall。一般來說，提高二分類的 threshold 就能提高 precision，降低 threshold 就能提高 recall，這時便可觀察 pr 曲線，得到最優的 threshold。
那麼多少auc算高呢？
auc = 0.50 幾乎沒分辨能力
0.7<=auc<0.8 可接受的判別力
0.8<=auc< 0.9 好的判別力
0.9<=auc 很好的判別力
1.調優觀察模型時，使用auc值會更好衡量模型效能，因為受到測試集和驗證集的分布影響小。
2.模型調優完畢，還需準備乙份需求可能出現的分布的測試集，將這份測試集輸入模型，輸出乙個精確率和召回率，作為給業務方模型的預期效果，也可以直**出模型對現實可能出現的資料集的效果
ROC曲線 PR曲線
在 的結果分析中，roc和pr曲線是經常用到的兩個有力的展示圖。1.roc曲線 roc曲線 receiver operating characteristic 是一種對於靈敏度進行描述的功能影象。roc曲線可以通過描述真陽性率 tpr 和假陽性率 fpr 來實現。由於是通過比較兩個操作特徵 tpr和...
ROC曲線及其matlab實現ROC曲線的繪畫
roc曲線 receiver operating characteristic curve 是利用classification模型真正率 true positive rate 和假正率 false positive rate 作為座標軸，圖形化表示分類方法的準確率的高低。roc圖的一些概念定義 真正...
P R曲線和ROC曲線
混淆矩陣又稱錯誤矩陣，指每個類別下，模型 結果的類別和數量在乙個矩陣中展示出來。真實標籤 為正 為負 真實為正 tpfn 真實為負 fptn 又稱為 tpr true positive rate 或者 敏感度sensitivity 通俗理解 真實為正的樣本中識別為正的佔比。t pr tpt p fn...