推薦系統試驗方法和指標

2021-08-27 10:44:00 字數 650 閱讀 3079

1.  離線實驗

(1) 通過日日誌收集使用者行為資料,並按照一定的格式生成乙個標註的資料集。

(2)按照一定的規則將資料集劃分為訓練集和測試集。

(3) 在訓練集上訓練使用者興趣模型, 在測試集上進行測試。

(4) 通過事先定義的離線評測指標評測演算法效果。

2.  使用者調查

使用者調查需要一批真實的使用者, 讓他們在需要的推薦系統上完成一些任務。在他們完成任務的,紀錄他們的行為,並讓他們回答一些問題。 最後,我們通過他們的行為和答案了解測試系統的效能。

完成以上兩個步驟之後, 可以在推薦系統上做乙個 ab test,將他和舊的系統進行對比。

乙個簡答的ab test 系統,使用者進入**之後,會給使用者打上在測試種屬於哪個分組的標籤,然後使用者瀏覽網頁的時候,行為會通過日誌系統傳送到後台的日誌資料庫。 在後台,實驗人員首先配置流量分配系統。 其次,實驗人員需要統計日誌資料庫種的資料,生成測試資料,比較結果。

評測指標

1.  使用者滿意度

2.  **準確度

1) 評分**

2) topn推薦

3.  覆蓋率

4.  多樣性

5.   新穎性

6.  驚喜度

7.  信任度

8.  實事性

9.  健壯性

推薦系統試驗方法和指標

1.離線實驗 1 通過日日誌收集使用者行為資料,並按照一定的格式生成乙個標註的資料集。2 按照一定的規則將資料集劃分為訓練集和測試集。3 在訓練集上訓練使用者興趣模型,在測試集上進行測試。4 通過事先定義的離線評測指標評測演算法效果。2.使用者調查 使用者調查需要一批真實的使用者,讓他們在需要的推薦...

氣動蝶閥壓力試驗方法

氣動蝶閥壓力試驗方法 氣動蝶閥是由氣動執行器和蝶閥組成。氣動蝶閥是用隨閥杆轉動的圓形蝶板做啟閉性,以實現啟用動作的氣動閥門主要做截斷閥使用,亦可設計成具有調節或段閥兼調節的功能,目前蝶閥在低壓大中口徑管道上的使用越來越多。1,氣動蝶閥殼體試驗步驟 2,氣動蝶閥空載操作試驗 驅動裝置安裝在蝶閥上,將閥...

離心幫浦的工作原理及試驗方法

最近設計時用到了離心幫浦,由於第一次使用,沒有經驗。所以幫浦的安裝位置比夜面高度高了一些,也沒有在吸入口處加上底閥,今天試執行的時候一直不能用。最後終於找到了答案,原來是由於沒有灌水。參考的 如下 離心幫浦工作前,先將幫浦內充滿液體,然後啟動離心幫浦,葉輪快速轉動,葉輪的葉片驅使液體轉動,液體轉動時...