推薦系統評價標準

如果乙個智慧型系統的智慧型程度很弱的話，對於工業界來說，完全可以不用智慧型系統。假象你推薦給使用者的東西效果很差的話，還不如推薦給使用者一些比較hot的東西。

那麼，如何來評價乙個推薦系統的效果呢？

（1）accuracy

準確性是乙個可以量化的指標，在學術界，評價乙個推薦系統最重要的指標就是看看你**的分數和真實的分數之間的誤差有多大。一般的做法是將你拿到的資料集分為兩組，training set和 testing set，兩者的比例一般是4：1（或者隨便自己定，但訓練集明顯要多於測試集）

然後你可以用平均誤差mae或者誤差的平方rmse來計算推薦系統的準確性。

通過計算準確性，可以不斷除錯推薦系統的各種引數，比如puresvd方法中的要保留的矩陣維數k，比如latent factor model中gradient desent 演算法中的下降因子等等諸多引數。

（2）diversity

在乙個智慧型web應用中，推薦系統不僅僅基於一種演算法，而是多種演算法混合起來使用。（混合推薦技術總結：

（3）ability to surprise

推薦系統有乙個比較好聽的名字叫做猜你喜歡（或者您可能會喜歡）。

如果你猜對了使用者喜歡的東西就會給使用者帶來非常棒的使用者體驗，會覺得你這個系統非常的智慧型和神奇。

說是猜，其實還是計算和挖掘。

多樣的推薦結果會更大概率的給使用者surprise。

（4）explain ability

系統為什麼推薦給我這個呢？這是使用者常常思考的問題。

所以乙個好的推薦系統，必須給使用者乙個推薦的理由，不然使用者會覺得非常的詫異，懷疑你的系統是不是瞎猜。

比如，在amazon上經常會看到這樣的話：

您瀏覽過***，

檢視此商品的顧客也檢視了*** *** ***

根據瀏覽記錄為您推薦：*** *** ***

乙個好的解釋，可以更加讓使用者信服你的推薦結果，從而認同你的**。

（5）computational efficiency

乙個系統執行的優劣，結果是乙個重要的因素，但效率也是乙個非常重要的因素。

效率可以理解為時間效率和空間效率。

但如果讓我給這兩個因素按重要程度排序的話，我會覺得結果更加重要。

因為你的結果很差，還不如不要這個推薦系統了，這時候也就沒有效率什麼事兒了。

推薦系統分為線上系統和線下系統。

一般線下系統會把各種矩陣分解，user之間的相似度，item之間的相似度，使用者的**評分計算好。

考慮到推薦結果的diversity和ability to surprise，將不同演算法計算出的結果各推薦幾個給使用者，並且盡量推薦以前沒有推薦過的。（或者說盡量可以讓使用者在一段時間內看到不太相同的推薦結果。）

這裡，推薦系統的速度主要體現在離線系統的計算上，item-based cf和content-based在這方面表現得非常好，在短期內，計算好一次結果就可以一直用，有點「一勞永逸」的意思。但user-based cf則相對差一些，需要你很頻繁地計算使用者的相似度矩陣，非常費時。

說到空間的效率，原始資料、中間結果以及最後的結果的儲存都是一些問題。

對於原始資料來說，使用者的評分矩陣是個非常稀疏的矩陣，大部分是0。如何儲存和讀取稀疏矩陣也是個關乎效率的問題。

對於中間結果，user相似度矩陣，item相似度矩陣，item-tag矩陣，svd分解後的矩陣，或者一般的矩陣分解方法產生的矩陣都是需要佔掉大量的空間，有的甚至是記憶體空間。

對於最後的結果，解決起來還是比較容易的。

所以乙個推薦系統的好壞，還是要顧及到演算法的計算速度和產生的結果和中間結果的儲存和讀取等等效率方面的問題。