總結平常工作中幾種校驗資料的思路
1、對比其他渠道資料結果
查詢需求:從hive端查詢20190909當天的訂單量(簡單例子),需要校驗sql結果是否正確
校驗方法:hive的上游資料來源為mysql,mysql端會有一些產出資料可供校驗
如上資料流程下,如果在展現訂單資料量的情況下,hive執行查詢結果需要驗證,可以從mysql渠道的資料結果進行對比來校驗。
舉的例子比較簡單,但是屬於校驗資料結果的乙個思路和方法。
2、分量累加比較總量
表結構:
訂單id 訂單日期 訂單渠道
1 20190808 a
2 20190808 a
3 20190808 b
4 20190808 b
5 20190807 c
5 20190807 c
5 20190807 c
5 20190807 c
5 20190807 c
查詢需求:查詢每天,每個渠道的訂單量
校驗方法:可對每天,每個渠道的訂單量進行累加,看看是否與當天總訂單量相同
3、分步驗證結果(a left join b left join c的情況)
有訂單表,商品表,使用者表
查詢需求:查詢電子產品,使用者年齡小於18歲的訂單明細
校驗方法:遇到這類查詢場景,首先用訂單表 join 商品表,確定符合電子產品的訂單明細以及資料量,這歸結為第一步校驗;
在第一步校驗基礎上再關聯使用者表,篩選使用者年齡小於18歲的條件,進行第二部校驗。
如何快速比較查詢結果是否一致 轉葉大俠
如何快速比較查詢結果是否一致 如何快速比較查詢結果是否一致 system localhost tom pager md5sum pager set to md5sum system localhost tom select from users 6004a48a825ef527b3f090290ba...
mysql查詢結果翻轉 如何把sql結果集翻轉
我用的是sql 請教如何把sql結果集翻轉?如下一張表 checkinout 顯示員工簽到,簽退的考勤表,checktype 考勤型別 i 表示簽到,o 表示簽退 timeflag 4表示上午,5表示下午 checktime 簽到,籤 userid checktype checktime timef...
如何檢視sql查詢是否用到索引 mysql
使用解釋函式explain,只需新增在sql語句之前即可 表中的索引 檢視sql是否用到索引 我們只需要注意乙個最重要的type的資訊很明顯的提現是否用到索引 type結果值從好到壞依次是 system const eq ref ref fulltext ref or null index merg...