最近在測試實時日誌檢索系統，有些服務日誌流量較大，頂峰有15w/s的流量，日流有70億。如何驗證檢索資料的正確性呢？兩個方面，1、檢索結果中的資料格式檢驗 2、檢索結果中的資料量是否符合檢索條件
對於小流量服務的測試方案是通過http請求來構造日誌資料，結合grafana對http請求數的監控來實時獲取實際產生的日誌資料，然後對比日誌檢索服務搜尋出來的資料，通過這樣的方式來驗證檢索資料的正確性
但是對於大流量服務，因為測試環境也不支援構造如此大tps的場景。因此我們選擇了一下兩種方案：
1、樣本資料檢測。每隔一段時間汪線上的真實資料中注入測試日誌資料，統計日誌檢索服務搜尋結果中的樣本資料，然後和實際構造的樣本資料進行數量以及格式的對比
2、參考歷史資料。假設待測服務已經上線半年以上了，已經對該服務的日誌流量做了線上監控，歷史資料已知。此時我只需要對比日誌檢索服務搜尋出來的資料和歷史資料做對比
使用者畫像如何驗證正確性？
使用者畫像大體流程 使用者畫像建設大體的流程如上圖所示，其中較為細節的內容還是結合實際的業務內容，下面針對使用者畫像的驗證主要還是集中在使用者畫像開發和使用者畫像更新的節點上。使用者畫像分類 以下僅僅是較為粗略地分類 使用者畫像驗證 1.畫像開發過程中驗證 1 模型驗證 此方法較多用於基礎資訊以及基...
如何驗證 SQL 語句的正確性
定義你想要檢驗的sql語句 declare sql nvarchar max 正確的語句 set sql select from report test1 錯誤的語句 set sql select 1 from declare testsql nvarchar max result intset t...
如何做資料產品？
1 產品給誰用？資料給誰看？使用者分幾類？不同類使用者訴求有無差別？2 ta為什麼要看資料？看完之後做什麼？要說清楚給使用者設計的資料產品在解決什麼問題，到底要給使用者看哪些資料？在實際的操作過程中，可能面臨理解不一的情況。這裡需要統一資料口徑，要保證使用者對資料概念的理解和你的理解是一樣的，這是資...