今天已到10月下旬一年一度電商雙11大促即將開始，是電子商務公司一年最大**活動，是重中之重。對於線上服務來說，是一次流量大考，對研發來說是一次技術提公升機會。做好應對高併發、大流量準備，是件必須要做必須做成的事情。
個性化推薦系統又與其他系統有著相似大流量考驗，還有一些和其他業務系統差異地方。核心交易系統更多面臨高併發交易可用性，高併發交易不出錯，系統穩定性。個性化推薦面臨問題是及其複雜線上演算法邏輯，多次快取redis呼叫，各個業務線面臨線上將近20倍流量暴漲，因為個性化每個使用者邏輯均不相同，暴漲的流量對於redis等儲存壓力也是巨大類似ddos。挑戰是相當之大，最近上下游聯合壓測、全鏈路壓測系統均未達到預估流量，壓力山大。
流量大、系統多、問題複雜，整個事情怎麼做，還是要梳理思路，按節奏進行備戰，開展各項工作。首先是梳理線上服務依賴儲存、依賴上游介面、線上服務邏輯是否可優化，然後單機壓測、上下游壓測、全鏈路壓測，線上服務擴容，線上各種redis、資料庫、es等資源擴容。詳細備戰可見我的618備戰文章618電商大促備戰以及總結。
這次雙11出現新情況以及面臨主要問題是第一次壓測多個redis集群效能嚴重下降並持續整個壓測過程，後來進行查詢分析定位是網路異常導致，因為redis目前也是在虛擬機器中，兩個物理機網路出問題，物理機上的多個redis集群出現效能持續下降。
第二次上下游壓測依然是redis效能下降，redis單個集群效能持續下降，導致整個集群效能降，線上業務基本都依賴這個集群，全線業務效能受影響。經查是存在大key或熱key導致單個分片效能差。以及線上業務流量過於集中，全部集中單個redis集群，每分鐘流量過億。
解決辦法最好是redis資料複製進行拆分，一部分業務讀原有redis集群，一部分讀新集群，這是個方法但資源消耗大。二是在定位查詢熱key將熱key進行定時處理或分散處理，大key value值大小進行控制，避免集群節點壓力過大，導致集群效能下降。三是線上業務自檢視是否有redis通用資料是定時拉取，實時拉取通用資料導致熱點key，通用資料一定採用定時器拉取。空使用者資訊訪問直接返回通用資料，避免空資訊時出現熱點key。
redis資源不可擴容情況下，線上服務可以進行一下優化，主要是redis集群連線配置調大、單個客戶端連線調小，避免消耗盡redis連線。集群超時調小，避免redis效能差導致線上服務不可用。
該做工作認真做好，盡量做到線上業務大流量不降級。但外一出現風險的情況怎麼辦？這時降級預案要做好，做好降級準備，降級預案提前演練做到萬無一失。
掃碼關注：
個性化推薦系統（五） 電商雙11大促研發
今天已到10月下旬一年一度電商雙11大促即將開始，是電子商務公司一年最大 活動，是重中之重。對於線上服務來說，是一次流量大考，對研發來說是一次技術提公升機會。做好應對高併發 大流量準備，是件必須要做必須做成的事情。個性化推薦系統又與其他系統有著相似大流量考驗，還有一些和其他業務系統差異地方。核心交易...
個性化推薦系統
基於協同過濾的推薦大體包括 基於專案的協同過濾 item basedcf 基於使用者的協同過濾 user basedcf 基於模型的協同過濾演算法 1 3 基於專案的協同過濾 item basedcf 首先根據不同使用者歷史購買商品的評分資訊計算出各專案之間的相似度，構建各專案之間的相似度矩陣 再找...
推薦系統概述 個性化推薦
1.從乙個例子出發 兩名使用者都在某電商 購買了a b兩種產品。當他們產生購買這個動作的時候，兩名使用者之間的相似度便被計算了出來。其中一名使用者除了購買了產品a和b，還購買了c產品，此時推薦系統會根據兩名使用者之間的相似度會為另一名使用者推薦專案c。2.應用現狀 推薦系統可以說是無處不在了，比如 ...