**實時預警，**是一種經常出現在實時計算中的業務型別。根據日誌資料中系統報錯異常，或者使用者行為異常的檢測，產生對應預警日誌。預警日誌通過圖形化介面的展示，可以提醒監控方，需要及時核查問題，並採取應對措施。
**需求：**同一裝置，5分鐘內三次及以上用不同賬號登入並領取優惠劵，並且過程中沒有瀏覽商品。達到以上要求則產生一條預警日誌。並且同一裝置，每分鐘只記錄一次預警。
mid裝置****id
uids領取優惠券登入過的uid
itemids優惠券涉及的商品id
events發生過的行為
ts發生預警的時間戳
1）從kafka中消費資料，根據條件進行過濾篩選，生成預警日誌；
2）預警日誌儲存到elasticsearch中；
3）利用kibana快速搭建視覺化圖形介面。
同一裝置（分組）
5分鐘內（視窗）
三次不同賬號登入（使用者去重）
領取優惠券（行為）
沒有瀏覽商品（行為）
同一裝置每分鐘只記錄一次預警（es去重）
linux : zookeeper nginx gmall.sh kafka es.sh/kibana
消費kafka的event資料 --> 轉換成case class --> 開啟滑動視窗 --> 根據裝置進行分組 --> 根據登入次數以及操作行為進行篩選 --> 去重操作 : 某個時間週期內值保留一次的 --> 儲存到elasticsearch中
實時異常預警
線上業務的快速發展對系統穩定性提出了更高的要求。每次在系統出現異常波動時，如何及時 準確的發現並提醒業務方，顯得尤其重要。這裡有很關鍵的兩個要求 異常識別基於歷史資料，獲取當前時間點的可能數值範圍，當實際值在該範圍以外時，即認為資料異常。最最簡單的方式當然是當同比或環比變化超出某一閾值時，即認為資料...
流失預警模型 實時查詢
本篇主要做的是乙個流失預警模型實時查詢的乙個測試，需求描述 使用者名單請求判斷是否流失，秒級內返回判斷結果。操作場景如下 流失預警模型，使用者是否在未來一段時間內流失 牽涉到流失定義，使用者活躍度定義，使用者行為時間定義等 建立，用到了使用者最近行為特徵 行為趨勢特徵等，最後 是否流失 1流失，0留...
實時GMV需求思路
交易額 gmv 日gmv，月gmv，季度gmv，年gmv！gmv 毛銷售額 的計算，不同的企業有不同的計算標準！業界普遍的計算 將每日訂單的成交 訂單生成 總額的總和，統計得到日gmv！需要的資料 每日生成的訂單 訂單屬於業務資料！在mysql中模擬業務資料，模擬下單！計算的過程 對每日生成的每筆訂...