auc是推薦系統中最常用的模型評價指標。基礎概念要常看常新，最近複習了一遍auc的概念，在此做個筆記。本文力求簡潔系統地理解auc的概念和計算方法，auc在推薦/廣告領域的侷限性以及解決這一問題的另乙個指標：group auc(gauc)
認識auc的第一步，是看懂混淆矩陣：
**\真實10
1tpfp0
fntn
舉個栗子：（引用自
假設現有兩個使用者甲和乙，一共有5個樣本其中+表示正樣本，-表示負樣本。現有兩個模型a和b，對5個樣本的predict score按從小到大排序如下：
模型a甲-
甲+乙-
甲+乙+
模型b甲-甲+甲+乙-乙+
從以上模型**結果可以看出，對於使用者甲的樣本，模型a和b對甲的正樣本打分都比其負樣本高；對於使用者乙的樣本也是如此，因此分別對於使用者甲和乙來說，這兩個模型的效果是一樣好的。
但這兩個模型的auc如何呢？根據公式(3)計算，auc
a=
0.833,a
ucb=
0.667
auc_a = 0.833, auc_b = 0.667
auca=
0.83
3,au
cb=
0.66
7. 我們發現auc在這個場景下不准了。這是因為，auc是對於全體樣本排序後計算的乙個值，反映了模型對於整體樣本的排序能力。但使用者推薦是乙個個性化的場景，不同使用者之間的商品排序不好放在一起比較。因此阿里媽媽團隊使用了group auc來作為另乙個評價指標。gauc即先計算各個使用者自己的auc，然後加權平均，公式如下：
g au
c=∑u
iwui
∗auc
ui∑w
ui
(4)gauc = \frac w_*auc_}}\tag4
gauc=∑
wui
∑ui
wu
i∗
aucu
i
(4) 實際計算時，權重可以設為每個使用者view或click的次數，並且會濾掉單個使用者全是正樣本或全是負樣本的情況。
參考文獻
推薦模型評價指標 AUC
推薦中常用的模型評價指標有準確率，召回率，f1 score和auc。1.什麼是auc auc指標是乙個 0,1 之間的實數，代表如果隨機挑選乙個正樣本和乙個負樣本，分類演算法將這個正樣本排在負樣本前面的概率。值越大，表示分類演算法更有可能將正樣本排在前面，也即演算法準確性越好。2.auc的計算方法 ...
機器學習推薦系統評價指標之AUC
auc是機器學習模型中常見評價指標，在推薦系統中也十分常見。和常見的評價指標acc，p，r相比，auc具備一定的優勢。一般說起auc，都會從混淆矩陣，acc，精確率p，召回率r，然後說到roc，再到auc，我在這裡簡單的梳理一下 由混淆矩陣引出tp，fp，fn和tn。接著引出準確率，精確率，召回率和...
評價推薦系統指標
評價指標 名稱符號 偏好是否依賴於推薦列表長度備註準 確度 評分準確度 平均絕對誤差 mae 小否 適用於比較關注精確的 評分的系統 平均平方誤差 mse 小均方根誤差 rmse 小 標準平均絕對誤差 nmae 小 評分關聯 pearson關聯 pcc 大適用於不關注精確 評分的系統，其中ndmp適...