deepfm是華為諾亞方舟實驗室和哈工大在2023年合作發表的一篇**,思想和實現都很簡單,只是在wide&deep的基礎上加乙個fm,其中fm和dnn共享原始的embedding特徵向量,由於fm計算的時間複雜度為o(kn),其中k為field的個數,一般也很小,故deepfm實際計算的時間複雜度和dnn接近。
上圖為deepfm的模型結構,可以看出和deep&cross類似,只是把cross層換成了fm層,fm層計算很簡單,一般fm的公式可以定義為如下公式:
其中vi 是第 i 維特徵的隱向量,⟨⋅,⋅⟩ 代表向量點積。隱向量的長度為 k(k
這樣fm模型的計算時間複雜度就可以由o(knn)簡化成o(k*n). 最後再把fm層的特徵向量和dnn的特徵向量concat, 最後再經過乙個二分類的softmax,就可以得到**為正,負樣本的概率。
模型的tensorflow實現**可以參考:
參考文獻: huifeng guo et all. 「deepfm: a factorization-machine based neural network for ctr prediction,」 in ijcai,2017.
推薦系統CTR預估模型之Deep Cross
deep cross是google在2017年發表的一篇 其思想和wide deep基本一致,只是把wide deep中的wide部分變成cross層,來彌補dnn不能顯示的學習交叉特徵這一缺陷,一般情況下效果會好於wide deep,而且模型複雜度與與wide deep接近。模型結構如上圖,右邊的...
推薦系統CTR預估模型之xDeepFM
xdeepfm 是msra發表在kdd 2018上的一篇文章,用於ctr預估。前面已經介紹過deep fm和deep cross networks兩種模型,xdeepfm可以看成結合了這兩種模型的優點。dnn模型以bit wise的形式把特徵進行交叉,而fm則以vector wise的形式進行特徵交...
推薦系統 CTR預估
問題描述 網際網路廣告有多種形式,包括展示廣告 競價排名 上下文廣告。對於按點選付費的廣告,乙個很重要的指標就是廣告點選率 使用者點選的次數 click 展示的次數 impression 本文主要討論的是上下文廣告的點選率預估問題。即,給定乙個網頁 page 和乙個廣告 ad page ad pai...