一． 資料基礎：
主要包括：
使用者行為資料：**於使用者行為日誌，通過flume採集至hdfs
使用者畫像資料：**於使用者註冊，儲存至hbase使用者表
物品元資料：**於內容管理系統，通過flume採集至hdfs
二． 推薦演算法(粗排)
三． 機器學習（精準排序模型）模型評估
四． 使用者訪問
1.解析請求，獲取當前使用者行為資料中的userid和itemid
2.使用userid查詢使用者特徵資料，判斷是否存在，若不存在：判定為當日新註冊使用者，首次展示當前最火物品top10，而後通過itemid查詢redis，判定new_itemid是否存在，如果存在則該物品為新上架物品，取topn返回；如果不存在，則返回cb推薦列表，取topn返回
若存在：判定為老使用者，查詢使用者特徵資料。通過itemid查詢redis召回不同推薦演算法相似itemid列表，而後遍歷召回的itemid並查詢物品特徵資料，與使用者特徵資料拼接以備輸入模型。
3.載入模型，model.w model.b
4.打分（sigmoid）,排序
5.取topn
6.資料報裝
7.瀏覽器驗證
六． 熱門物品滑動統計
熱點物品滑動統計，每隔60秒鐘，統計最近300秒鐘的搜尋詞的搜尋頻次，並統計出排名最靠前的5個搜尋詞以及出現次數，存入mysql資料庫。
（60秒為資料更新頻率，300秒為更新資料的時間範圍。）
普通sparkstreaming處理方式，如果將時間間隔設定成300s，無法每隔60s輸出一次結果；如果將時間間隔設定成300s，同時使用updatebykeystate，那麼統計的是持續的累加結果，無法做到統計300s之內的結果，此時就需要使用滑動視窗來實現。
使用者行為日誌+flume+kafka+sparkstreaming
七． 使用者標籤
大資料推薦系統專案
推薦系統的本思想 利用使用者和物品的特徵資訊，給使用者推薦那些具有使用者喜歡的特徵的物品。利用使用者喜歡過的物品，給使用者推薦與他喜歡過的物品相似的物品。利用和使用者相似的其他使用者，給使用者推薦那些和他們興趣愛好相似的其他用 戶喜歡的物品。知你所想，精準推送 利用使用者和物品的特徵資訊，給使用者推...
推薦系統實戰 出租公寓專案8 推薦系統評估
前面說了那麼多，推薦系統的冷啟動，協同過濾演算法，聚類演算法，關聯規則，混合演算法，那現在問題出來了，我用哪種演算法來寫我自己的公寓出租推薦系統呢？一是憑經驗，二，所有演算法都測試一遍，看哪個效果好！效果好的標準是什麼？就是馬上要說的推薦系統的評估，指標。當然，ab test也有缺點，週期比較長，必...
推薦系統架構 推薦系統（1） 業界推薦系統架構
1.1業界主流推薦系統架構 業界推薦系統通用架構 1.2使用者本身資料 1.3物品本身資料 1.4使用者行為資料 2.1基於離線訓練的推薦系統架構設計 常用演算法 邏輯回歸 logistics regression 梯度提公升決策樹 gbdt 和因式分解 fm 架構設計 2.2面向深度學習的推薦系統...