推薦系統 3 深度學習發展

2021-10-12 12:28:52 字數 1201 閱讀 4381

深度學習推薦模型,有早期微軟的deepcrossing, google的wide&deep,阿里的mlr,到現在影響力非常大的din, dien, youtube的深度推薦模型等。

經典的推薦演算法,矩陣分解,在矩陣分解模型的結構中,使用者one-hot向量和物品one-hot向量分局兩側,他們會先通過隱向量層轉換成使用者和物品隱向量,再通過點積的方式交叉生成最終的打分**.

但是,點積這種特徵向量交叉的方式畢竟太過於簡單,在資料模式比較複雜的情況下,往往存在欠擬合的情況。而深度學習就能大大加強模型的擬合能力,比如ncf(神經網路協同過濾)模型中,點積層被替換為多層神經網路,理論上多層神經網路具備擬合任意函式的能力,所以我們通過增加網路層的方式就能解決模型欠擬合的問題。

說完了深度學習模型的強擬合能力,再看一下它的靈活性。深度學習模型的多變複雜特性可以讓它模擬超級大腦一樣,猜測使用者行為。

經典的例子是din(深度興趣網路)和dien(深度興趣進化網路),它們通過在網路中進入注意力機制和模擬興趣進化的序列模型,來更好地模擬使用者的行為。

我們看din模型,它在神經網路中增加了乙個叫做」啟用單元「的結構,這個單元就是為了模擬人類的注意力機制。 舉例:我們在購買電子產品時,比如買膝上型電腦時,更容易拿之前購買電腦的經驗,或者其他電子產品的經驗來直到當前的購買行為,很少會借鑑購買衣服和鞋子的經驗。這就是乙個典型的注意力機制,我們只會注意到相關度更高的歷史購買行為,而din模型就是模擬了人類這樣的注意力特點。

din的改進版dien模型更厲害,不僅引入了注意力機制,還模擬了使用者興趣隨時間的演化過程。dien裡面的色彩層,一層層的序列結構模擬的正是使用者興趣變遷的歷史,通過模擬變遷的歷史,dien模型可以更好地**下一步使用者會喜歡什麼。

這些通過改變模型結構來模擬使用者行為的做法不勝列舉,很多重要的深度學習模型的改進動機正是基於這樣的原理。也正是因為這樣的靈活性,正確、全面地掌握不同深度學習模型的特點,以及他們之間的發展關係變得異常重要,只有這樣才能在實踐中有的放矢、靈活應用。

關於模型改進的4個方向:

學習週報20200621 深度學習推薦系統

學習週報 總結自己的學習和遇到的好材料。往期回顧 最近調整了作息,早上早起晚上早睡,所以學習策略也有一些調整,但是學習是一直不能落下,query理解層面自己有了比較完整的一年經驗,要開始把坑挖大,自己的計畫是稍微在推薦系統這個角度看看有沒有一些經驗可以使用吧,一方面是深度學習推薦系統這本書,另一方面...

深度學習推薦系統 筆記06 推薦系統線上服務相關

需要跟資料庫打交道,把候選物品和離線處理好的特徵載入到伺服器 召回層 排序層 業務邏輯 結果多樣性 流行度 ab 測試 負載均衡 nginx或專門的硬體級負載均衡裝置 快取 1 預先快取好幾類新使用者的推薦列表 2 利用新使用者有限的資訊,比如ip,註冊資訊等做乙個簡單的聚類,為每個人群聚類產生合適...

深度學習在推薦系統的應用

目錄結構 模型集合 wide and deep learning youtube recommendation deepfm lattice 模型原理 lattice是多維內插式查詢表,為了模型更好地泛化,我們充分利用查詢表的結構來滿足您指定的 單調關係,這種結構能夠通過使用多重輸入估計任意柔性關係...