什麼是推薦系統
一種資訊過濾系統,**使用者對物品的評分和偏好
推薦系統的問題模式
行為**(80%):直接**行為本身發生的概率、**物品的相對排序
利用隱式反饋資料**隱式反饋的發生概率
問題
思維模式
目標思維和不確定性思維
使用者畫像和物品畫像
要用物品和使用者的文字資訊構建出乙個基礎版本的使用者畫像
內容分類:將文字按照分類體系分類,用分類來表達較粗粒度的結構化資訊。
文字 :在無人制定分類體系的前提下,無監督地將文字劃分成多個類簇也很常見,別看不是標籤,類簇編號也是使用者畫像的常見構成。
主題模型:從大量已有文字中學習主題向量,然後再**新的文字在各個主題上的概率分布情況,也很實用,其實這也是一種聚類思想,主題向量也不是標籤形式,也是使用者畫像的常用構成。
嵌入:「嵌入」也叫作 embedding,從詞到篇章,無不可以學習這種嵌入表達。嵌入表達是為了挖掘出字面意思之下的語義資訊,並且用有限的維度表達出來。
文字結構化演算法
textrank
內容分類
實體識別
序列標註問題
jieba
詞性標註
基於統計方法與規則方法相結合的詞性標註方法
基於深度學習的詞性標註方法
實體識別
聚類詞嵌入
根據使用者行為資料把物品的結構化結果傳遞給使用者,與使用者自己的結構化資訊合併。
資訊增益
物品畫像
基於內容的推薦
人以群分
如果使用者的向量很長,計算乙個相似度則耗時很久,怎麼辦?
如果使用者量很大,而且通常如此,兩兩計算使用者相似度也是乙個大坑,怎麼辦?
在計算推薦時,看上去要為每乙個使用者計算他和每乙個物品的分數,又是乙個大坑,怎麼辦?
懲罰對熱門物品的喜歡程度,增加喜歡程度的時間衰減
基於物品的協同過濾
基於模型的協同過濾(model-based)
協同過濾中的相似度計算方法
演算法
直接使用使用者和物品的隱因子向量相乘來計算推薦的複雜度太大:a. 獨特的資料結構儲存所有物品的隱因子向量,通過乙個使用者向量可以返回最相似的 k 個物品:faiss、nmslib、 kgrap; b. 物品的隱因子向量先聚類,再逐一計算使用者和每個聚類中心的推薦分數,給使用者推薦物品聚類。
貝葉斯個性化排序
架構 近線
推薦系統筆記
推薦引擎利用特殊的資訊過濾 if,information filtering 技術,將不同的內容 例如電影 書籍 新聞 網頁等 推薦給可能感興趣的使用者。通常情況下,推薦引擎的實現是通過將使用者的個人喜好與特定的參考特徵進行比較,並試圖 使用者對一些未評分專案的喜好程度。參考特徵的選取可能是從專案本...
推薦系統 筆記(下)
因為標籤的特點,它很適合用到推薦系統中。標籤和使用者 物品類似,它的流行度分布也滿足長尾分布。考慮到標籤後,使用者的標籤行為資料可以表示為 u i,b 表示使用者 u 給物品 i 打了個標籤 b 對於評測指標,如果實際的標籤可以視作為使用者的正反饋,那麼準確率和召回率中的 t u 表示測試集上使用者...
推薦系統提綱筆記
問題本質 矩陣的未知部分如何填充問題 已知的值是使用者已經互動過的 item,如何基於這些已知值填充矩陣剩下的未知值,也就是去 使用者沒有互動過的 item 是矩陣填充要解決的問題。缺點 mf 模型 矩陣分解 fism factored item similarity model svd 缺點 優點...