**準確度度量乙個推薦系統或者推薦演算法**使用者行為的能力。這個指標是最重要的推薦系統離線評測指標,從推薦系統誕生的那一天起,幾乎99%與推薦相關的**都在討論這個指標。這主要是因為該指標可以通過離線實驗計算,方便了很多學術界的研究人員研究推薦演算法。
但是上面的定義過於粗略。覆蓋率為 100% 的系統可以有無數的物品流行度分布。
在資訊理論和經濟學中有兩個著名的指標可以用來定義覆蓋率。第乙個是資訊熵:
這裡 p(i) 是物品 i 的流行度除以所有物品流行度之和。
第二個指標是基尼係數( gini index ):
這裡, i j 是按照物品流行度 p() 從小到大排序的物品列表中第 j 個物品。
介紹了很多評測指標,但是在評測系統中還需要考慮評測維度,比如乙個推薦演算法,雖然整體效能不好,但可能在某種情況下效能比較好,而增加評測維度的目的就是知道乙個演算法在什麼情況下效能最好。這樣可以為融合不同推薦演算法取得最好的整體效能帶來參考。
一般來說,評測維度分為如下 3 種。
使用者維度 主要包括使用者的人口統計學資訊、活躍度以及是不是新使用者等。
物品維度 包括物品的屬性資訊、流行度、平均分以及是不是新加入的物品等。
時間維度 包括季節,是工作日還是週末,是白天還是晚上等。
推薦系統之評測指標
前言 在接下來的一段時間,我將學習 推薦系統實踐 這本書,打算把每天學習的內容進行總結寫成部落格,今天是第一篇,主要內容是關於推薦系統的一些常見指標。1.推薦系統實驗方法 2.評測指標 2.1 使用者滿意度 2.2 準確度 準確度度量乙個推薦系統或者推薦演算法 使用者行為的能力,主要通過離線計算獲得...
推薦系統系列1 推薦系統評測指標
0 前言 什麼才是好的推薦系統?這是推薦系統評測的需要解決的首要問題。那我們怎麼去判斷乙個系統的好壞呢?我們認為乙個好的推薦系統不僅僅能夠準確的 使用者的行為,而且還能夠擴充套件使用者的視野,幫助使用者發現那些他們可能會感興趣但卻不那麼容易發現的東西。評價乙個推薦系統的好壞一般有幾個不同的指標,這些...
推薦系統評測指標之RMSE MSE
coding utf 8 fromloadmovielensimport importmath 評測指標 rmse 均方根誤差 mae 平均絕對誤差 defgetrmse prefer1,prefer2 rmse 0 forkey1,valueinprefer1.items zonghe 0 迭代測...