Kettle 資料篩選(找出錯誤資料)思路

2021-09-29 04:13:14 字數 508 閱讀 6685

1、原表

nnxjh66/nnzy/dbo/t_gps_info

2、新建一張表

nnxjh66/tempdb/dbo/t_gps_info   

新建表nnxjh66/tempdb/dbo/t_gps_info_int 

3、備份資料

nnxjh66/nnzy/dbo/t_gps_info----->nnxjh66/tempdb/dbo/t_gps_info

4、清洗資料

nnxjh66/tempdb/dbo/t_gps_info----->nnxjh66/tempdb/dbo/t_gps_info_int

(數量級大約7112500 七百萬,錯誤資料21296 兩萬

kettle spoon 去定位資料還是很好用的,七百萬大約0.5-1h就能全部搞定

注意:裝kettle 之前先裝 jdk)

es篩選資料 Elasticsearch 資料查詢

資料準備 put shop price stock post shop goods bulk 一 基本查詢 語法 get 索引庫名 search 查詢型別 match all,match,term,range,fuzzy,bool 等等 查詢條件 查詢條件會根據型別的不同,寫法也有差異 1.1 查詢...

如何找出錯誤ora 07445發生時系統執行的語句

在trace file中查詢錯誤出現時的語句主要分兩個步驟 首先找到錯誤發生時的執行語句,然後需要找到語句中繫結變數的值。step 1 find the sql 在跟蹤檔案中查詢字串 current cursor 一般在cursor dump段的起始部分 使用current cursor後面的數字定...

因資料庫相容級別低導致列轉行查詢出錯問題的處理

測試資料時發現,執行以下語句沒有問題。其他資料庫無法執行 select shangpinbh,a9999900000,e000050000 from select from kucunmx 1378 行受影響 where kuweibh in a9999900000 e000050000 and s...