讀《微博推薦架構的演進》有感

2022-08-12 21:03:21 字數 1733 閱讀 9212

這周繼續研究微博架構,本篇隨便的重點是微博架構的演變。

微博(weibo)是一種通過關注機制分享簡短實時資訊的廣播式社交網路平台。微博使用者通過關注來訂閱內容,在這種場景下,推薦系統可以很好地和訂閱分發體系進行融合,相互促進。微博兩個核心基礎點:一是使用者關係構建,二是內容傳播,微博推薦一直致力於優化這兩點,促進微博發展。

在微博推薦發展的過程中遇到體系方向的變化、業務的不斷更迭、目標的重新樹立,其產品思路、架構以及演算法也隨之進行變遷。本文主要闡述在這個過程中推薦架構的演進,從產品目標、演算法需求以及技術發展等維度為讀者呈現乙個完整的發展脈絡,同時也希望通過這個機會跟大家一起**業務與技術的相互關係。

為了便於理解微博推薦架構演進,在介紹之前需要陳述一下微博推薦在流程上的構成,其實這個和微博本身沒有關係,理論上業內推薦所存在的流程基本都是相同的。如圖2所示,推薦是為了解決使用者與item之間的關係,將使用者感興趣的item推薦給他/她。那麼,乙個item被推薦出來會經過候選、排序、策略、展示、反饋到評估再改變候選等等形成乙個完整的迴路。

下面介紹微博架構的幾個版本:

獨立式的1.0

1.1 環境

微博推薦1.0的這段時間是從2023年7月份到2023年2月份左右,其主要的目標就是實現當前的業務需求。對於獨立式的解釋:每乙個業務專案都是一套完整架構流程,架構之間相對獨立,甚至包括技術棧。之所以稱之為獨立式其內部因素有幾點:

1) 當時團隊是乙個新團隊,成員也相對較新,相互的合作不多,缺乏推薦領域整體性經驗。

2) 團隊成員對於推薦架構都有自己的一些或多或少的理解,但是對於在當前場景下的微博推薦架構,共識並沒有形成。

當然起決定性因素的還是外部環境,是因為內部原因還是比較好協調和進化的。當時的外部環境因素包括:

1) 專案需求很多,在當時乙個5人團隊並行開發的專案平均在3-5個左右,當然最重要的因素是當時的微博產品正處於高速發展期,很多地方都需要微博推薦的支撐。同時,專案週期也很短,排期倉促,很難有時間進行細緻的整理和抽象。典型產品包括:微吧、微群、微刊、微話題、使用者以及內容排序等等。

2) 團隊是乙個支撐性的,絕大部分需求來自於外部團隊,各個外部團隊不同的產品方向也導致疲於應付需求。

由於上述的那些原因,通常我們面對乙個接乙個的專案時,都會根據自己的理解使用熟悉的技術棧來搭建流程,這樣形成了乙個又乙個的獨立架構。

1) 當前團隊成員合作已經很長時間,彼此相互熟悉,同時對於技術選型有了一定的共識。

2) 團隊產品進行了聚焦,針對內容/使用者/垂直類三類推薦進行了整理,同時對於場景分別進行了重點劃分:feed流內、正文頁以及pc首頁右側。這種聚焦有利於進行架構統一,同時也為技術爭取了時間。

而外部因素是:

1) 公司對於推薦有了比較明確的定位,提高關係達成以及內容傳播效率,同時為推薦型廣告打好技術探索、場景介入以及使用者體驗的基礎。

2) 推薦領域裡,各個公司都紛紛有了對於架構的產出,對於微博推薦有了很好的指導意義。

2.2 架構組成與特點

團隊在執行核心業務實現的時候,不斷演進工具以及框架,構建2.0的目標呼之欲出。

1) 推薦產品不在擴張,對效果更為看重,將工作重點從業務開發和迭代轉化為以效果為目標的技術迭代。

2) 新專案或者迭代推薦業務的時候發現重複的事情很多,而架構沒有解決,工作存在冗餘。

而外部因素是:

1) 公司也從業務擴充套件轉變為效率為先,提公升使用者體驗以及內容質量上來。

2) 微博推薦在推薦技術環節距離領域內有一定距離,當下有條件進行追趕。

當前的環境也能體現出3.0的技術目標:

1) 技術目標

2) 架構組成

閱讀心得15 《微博推薦架構的演進 》

按照架構發展的道路,我們到了分叉路口,一邊是流行的lamp架構,另一邊是符合廣告 搜尋的cell架構。lamp架構資料策略分離,指令碼語言作為業務開發主要語言,專案快速開發和迭代的首選。cell結構強調本地流程處理,資料與業務耦合性強,自研的服務以及資料庫較多出現,適用於高效能效果型產品。最終我們選...

讀《微博深度學習平台架構和實踐》有感

深度學習和人工智慧早已經不是陌生的詞語,隨著神經網路演算法的成熟和gpu計算能力額提高,我們在很多方面,都開始利用深度學習,而對於有那麼多使用者的微博,深度學習必然也是不可缺少的。微博深度學習平台極大地提公升了深度學習開發效率和業務迭代速度,提高了深度學習模型效果和業務效果。在說微博之前,我們先了解...

新浪微博的儲存思路整理架構分享 微博架構的回顧

最近這段時間工作上的變動有點大,五月份也閒了下來一直在思考自己接下來的方向,並對這一年來的學習進行總結.對於架構上的深入是這一年多來最主要的沉澱,從小公司到大公司,從小流量的站點的架構設計到大流量乃至超大流量的架構設計,記錄下來,分享出來。在分享自己的那點料之前,先來分享下大神tim yang的關於...