推薦系統 隨記

2021-07-12 05:01:55 字數 1408 閱讀 1145

二、同現矩陣可以看成是使用者給出的物品與物品之間的相似程度,將使用者的聯合購買行為(認同行為)理解為兩件物品的相似程度,而使用者評價就是使用者偏好,那麼  相似性×使用者偏好=潛在的使用者偏好。同理,基於物品屬性的近鄰演算法核心思想也是如此。

三、最近在學習推薦系統,想問下,有沒有在bat做過類似的工作的朋友。計算物品相似度是用什麼來寫的?是直接拿mapreduce或spark通過余弦或者同現矩陣的方式實現的嗎?還是用mahout寫的呢?坐等--------------------通過這個說明了同現矩陣屬於計算相似度的一種。  四、

隨著netflix prize推薦比賽的成功舉辦,近年來隱語義模型(latent factor model, lfm)受到越來越多的關注。隱語義模型最早在文字挖掘領域被提出,用於尋找文字的隱含語義,相關的模型常見的有潛在語義分析(latent semantic analysis, lsa)、lda(latent dirichlet allocation)的主題模型(topic mdel),矩陣分解(matrix factorization)等等。其中矩陣分解技術是實現隱語義模型使用最為廣泛的一種方法,其思想也正是**於此,著名的推薦領域大神yehuda koren更是憑藉矩陣分解模型勇奪netflix prize推薦比賽冠軍,以矩陣分解為基礎,yehuda koren在資料探勘和機器學習相關的國際頂級會議(sigir,sigkdd,recsys等)發表了很多文章,將矩陣分解模型的優勢發揮得淋漓盡致。實驗結果表明,在個性化推薦中使用矩陣分解模型要明顯優於傳統的基於鄰域的協同過濾(又稱基於記憶的協同過濾)方法,如usercf、itemcf等,這也使得矩陣分解成為了目前個性化推薦研究領域中的主流模型。

需要說明的是,協同過濾方法分為兩大類,一類為上述基於領域(記憶)的方法,第二類為基於模型的方法,即隱語義模型,矩陣分解模型是隱語義模型最為成功的一種實現,不作特別說明的情況下,本文將隱語義模型和矩陣分解看作同一概念,user-item矩陣和user-item評分矩陣為同一概念。

另外,奇異值分解(singular value decomposition, svd),非負矩陣分解(non-negative matrix factorization, nmf),概率矩陣分解(probability matrix factorization, pmf)等方法雖然也使用矩陣分解的思想,屬於矩陣分解的範疇,但是其分解方法和本文有所不同,這些不是本文的討論重點,我會在今後的博文中逐一進行講解。

相似度演算法:

1)同現相似度   

2)歐氏距離相似度

3)余弦相似度

4)秩相關係數相似度

5)曼哈頓距離相似度

6)對數似然相似度

常見的推薦系統演算法:

關聯規則;

apriori

fpgrowth

協同過濾

基於鄰域的方法

基於使用者的協同過濾演算法

基於物品的協同過濾演算法

隱語義模型

推薦系統架構 推薦系統(1) 業界推薦系統架構

1.1業界主流推薦系統架構 業界推薦系統通用架構 1.2使用者本身資料 1.3物品本身資料 1.4使用者行為資料 2.1基於離線訓練的推薦系統架構設計 常用演算法 邏輯回歸 logistics regression 梯度提公升決策樹 gbdt 和因式分解 fm 架構設計 2.2面向深度學習的推薦系統...

推薦系統(1) 推薦系統概述

推薦系統是主動從大量資訊中找到使用者可能感興趣的資訊的工具。推薦系統的核心問題是如何實現推薦個性化 如何向使用者推薦匹配度高的產品 商品 或專案,本質是通過一定的方式將使用者和專案聯絡起來。自從xerox palo alto研究中心於1992年研發出了基於協同過濾的實驗系統tapestry以來 主要...

推薦系統01推薦系統入門

這裡給出了三個主要原因 網際網路規模增長迅速,資料量資訊過載,人們很難獲得有效資訊 資料太多了,我看不過來 搜尋引擎的方式只能滿足有確切主題 知道如何描述的資訊,沒有辦法搜尋自己模糊不清的需求 人們需要個性化服務來減少不必要的工作。在這樣的背景下,推薦系統應運而生,推薦系統究竟實現了怎樣的工作,實際...