推薦系統的架構

2021-08-16 02:59:31 字數 1475 閱讀 1246

本文從網際網路收集並整理了推薦系統的架構,其中包括一些大公司的推薦系統框架(資料流儲存、計算、模型應用),可以參考這些資料,取長補短,最後根據自己的業務需求,技術選型來設計相應的框架。後續持續更新並收集。。。

介面ui那一塊包含3塊東西:1) 通過一定方式展示推薦物品(物品標題、縮圖、簡介等);2) 給的推薦理由;3) 資料反饋改進個性化推薦;關於使用者資料的存放地方:1)資料庫/快取用來實時取資料;2) hdfs檔案上面;

抽象出來的三種推薦方式

圖2       

圖3中,推薦引擎的構建**於不同的資料來源(也就是使用者的特徵有很多種類,例如統計的、行為的、主題的)+不同的推薦模型演算法,推薦引擎的架構可以試多樣化的(實時推薦的+離線推薦的),然後融合推薦結果(人工規則+模型結果),融合方式多樣的,有線性加權的或者切換式的等

hulu的推薦系統

**的推薦系統(詳細跟簡單版)

netflix的推薦系統

優酷的推薦系統

備註:上圖來至easyhadoop舉辦的技術沙龍中優酷資料探勘工程師的演講,有關詳細資訊請移步 作者在演講中講的一些"乾貨"跟推薦議題是很有價值的,下圖簡單描述。

模型前資料準備(理解資料來源,使用者,物品)

模型策略

其他考慮的場景

推薦系統架構 推薦系統(1) 業界推薦系統架構

1.1業界主流推薦系統架構 業界推薦系統通用架構 1.2使用者本身資料 1.3物品本身資料 1.4使用者行為資料 2.1基於離線訓練的推薦系統架構設計 常用演算法 邏輯回歸 logistics regression 梯度提公升決策樹 gbdt 和因式分解 fm 架構設計 2.2面向深度學習的推薦系統...

推薦系統的架構

本文從網際網路收集並整理了推薦系統的架構,其中包括一些大公司的推薦系統框架 資料流儲存 計算 模型應用 可以參考這些資料,取長補短,最後根據自己的業務需求,技術選型來設計相應的框架。後續持續更新並收集。圖1介面ui那一塊包含3塊東西 1 通過一定方式展示推薦物品 物品標題 縮圖 簡介等 2 給的推薦...

推薦系統架構

實時性 推薦系統要根據使用者的上下文來實時更新推薦內容,使用者的興趣也是隨著時間而改變的,需要實時更新。其中,前三者是和機器學習沒有任何關係的,但卻是推薦效果最好的三種方式。一般說來,這部分內容應該佔到總的推薦內容的80 左右,另外20 則是對長尾內容的個性化推薦。核心模組 資料路徑 1 請求的重新...