評價標準
效能良好的評分模型,應該能夠給予那些引起msg或click的候選會員更高的評分(排序靠前),從而推薦給指定會員。本次競賽的主要排名標準為normalized discounted cumulative gain(ndcg
),定義如下:
這裡rank 1
click
msgrec
click
recrank 2
click
click
msgrec
rec這裡給出乙個計算ndcg的例子。假設某統計評分模型對5位會員進行了評分,以確定哪位會員更可能獲得會員a的青睞(評分越高表示興趣越大):
user_id_b 1
2 34 5
模型評分
1.20.7
-2.5
0.24.0
按評分排序 2
3 54 1
action (y)
msg (y2=2)
click (y3=1)
rec (y5=0)
rec (y4=0)
rec (y1=0)
因此對於會員a,
如果能夠獲得的評分足夠理想,從而能夠完美地**出會員a關於5位會員的興趣排序,則此時相應的dcg稱為ideal dcg:
從而對會員a,
推薦系統評價標準
如果乙個智慧型系統的智慧型程度很弱的話,對於工業界來說,完全可以不用智慧型系統。假象你推薦給使用者的東西效果很差的話,還不如推薦給使用者一些比較hot的東西。那麼,如何來評價乙個推薦系統的效果呢?1 accuracy 準確性是乙個可以量化的指標,在學術界,評價乙個推薦系統最重要的指標就是看看你 的分...
模型評價標準 重要
jaccard similarity coefficient 傑卡德相似係數 兩個集合a和b的交集元素在a,b的並集中所佔的比例,稱為兩個集合的傑卡德相似係數 correlation coefficient 相關係數 準確率 召回 fscore 對於分類器,評價指標主要有precision,reca...
一些評價標準
分類問題 準確率 回歸問題 1 rmse root mean square error 均方根誤差,觀測值與真值偏差的平方與觀測次數n比值的平方根 m 樣本個數 y 真實輸出值 y 得到的輸出值 i 第i個樣本 2 mae mean absolute error 平均絕對誤差,又叫平均絕對離差,是所...