建立衡量日常生活級別新穎性的指標並非易事。新穎性等級1的衡量必須考慮系統上下文中的資訊，以便衡量使用者已知和未知的內容。
系統級別的新穎性有許多定義。簡單來說，對使用者而言，新專案是指使用者不知道或者知道很少的專案。
有人認為，新穎性是指推薦系統**使用者不知道且通過其他渠道也不會發現的專案。新穎性也被定義為推薦專案與使用者已消費的專案之間的差異。新穎性還被定義為使用者**列表中未知專案的比例。
在實踐中，以上定義僅在觀察使用者消費歷史中先前消費的物品時，才會考慮新專案，而不會考慮系統外消耗的物品。總而言之，系統級別的新穎性是指在系統資訊中使用者未知的專案。
大多數文獻中提出的的新穎性都是系統級別的新穎性。 有人提出了這樣一種評估方法：將推薦列表中的新穎性計算為推薦列表中的專案與使用者歷史消費中的專案之間的相似性（??），公式7即該度量標準。
另一些人提出的新穎性則是計算使用者的推薦列表中的專案的流行度的總和，公式8 即為這種方法。例如，可以通過消耗該項目的使用者的數量來計算專案的流行度（???）。此外，他們還提供了度量的變體，例如-???2???（?）|?| 。
第3級別涉及到推薦列表級別的新穎性，即不重複推薦的專案。從這個意義上講，新穎性被定義為推薦列表中不包含使用者資訊的不重複的專案。說新穎性與使用者未知的推薦列表中的非冗餘專案有關。簡而言之，級別3是級別2的極端情況，級別3甚至不允許推薦列表**現冗餘專案或重複推薦結果。
衡量新穎性第3級別僅需要調查推薦列表中的專案。新穎性第3級的指標不需要使用者資訊。從這個意義上講，公式10能夠計算推薦列表中專案的相似性，其中?（?，?）表示專案?和?之間的距離。但是，該度量標準更像列表內相似性的度量標準，可能無法衡量新穎性。
此外，還有人提出了乙個衡量推薦列表中新穎性的指標，見公式11。該度量考慮了專案在經過排序的推薦列表中的位置，用於計算瀏覽列表的折扣函式（????（??）。此外，度量還計算使用者在瀏覽時看到專案（?（????|??）的概率。由於該概率是指使用者消費資訊的不確定性，因此該度量最好在新穎性的2級和3級之間進行分類。
一些人認為，推薦系統的多樣性具有相反的相似效應。作者指出，變化小的推薦列表使用者可能不感興趣。另一些人認為，與使用者的消費歷史相比，推薦系統通常會**類似的專案。因此，多樣性意味著平衡推薦列表以涵蓋使用者的整個興趣集。
有關多樣性的度量，大家都傾向於將多樣性計算為推薦列表中的項之間的不相似性。一些人提出了一種用於列表內相似性的度量，如公式12所示。函式?（?，?）計算推薦列表??中專案?和?之間的距離。該指標實際上捕獲了列表的相似性；因此，該度量標準的低值表示更相似的列表，其中專案彼此相似。
內部列表相似性度量也被其他多樣性工作所使用。另一些人把余弦相似度作為距離函式，該度量標準可以在公式13中看到。
還有人提出了另外的指標，如公式14所述。圖14中的公式是針對列表內相似度的更具體的計算。該度量考慮了被分析的每對專案的位置的折扣函式（????（?）。此外，該度量還使用項之間的距離（?（??，??），例如余弦相似距離。
推薦系統 評估指標總結
準確率指標 該型別的指標大部分是推薦演算法優化的目標，衡量著推薦演算法的優劣。準確率。推薦給使用者的商品中，屬於測試集的比例，數學公式p lu lu bulup lu lu bulu 整個測試集的準確率為 pl 1n u up lu pl 1n u up lu 召回率。測試集中有多少在使用者的推薦列...
推薦系統 常見評估指標 學習筆記
目錄 1 推薦系統簡介 2 推薦系統常見評估指標 2.1 使用者滿意度 2.2 準確率相關 2.3 覆蓋率 2.4 多樣性 2.5 新穎性 2.6 roc auc 1.what 使用者 推薦系統是一種幫助使用者快速發現有用資訊的工具 公司 推薦系統是一種增加公司產品與使用者接觸,購買等行為概率的工具...
推薦演算法 推薦系統的評估
其中 ep 是測試資料集合 rs ua i ualu lu u 待推薦的列表大小 離線測試，使用者 u在測試集中影片數量 未打分的影片數量 iu a 是 影片 a 在使用者推薦列表中的排名ap x i 1x pre dict ioni ch ange inre call i ap 2 p redi ...