背景：需要將9億保單資料同步到hive中，但由於oracle併發限制，一晚上每天只能2億左右；
解決方法：1. 首先有乙個增量同步程式，通過update_date同步每天的增量資料
2.初始化歷史資料，通過顯示update_date的時間範圍，將每個月的資料量作為乙個批次同步；每晚可以同步很多個批次(設定時間檢查：白天時間段禁止同步)
3.比對：將初始化的資料和增量資料比對，重複的資料取增量同步的為準，進行入錶中；
問題：遇到資料塊過時，由於乙個開始通過加大併發，一晚上計畫同步完，導致9億的資料在同步時已經拿到的資料塊會在sqoop匯入時過時，導致無法繼續同步；
分批次處理List
因為呼叫第三方介面，傳入的引數有數量的限制要求。所以需要對傳入的引數進行數量上的處理。附上方法 通過sublist來處理 2017年10月27日上午2 06 24 param sourlist準備處理的資料list param batchcount準備以多少數目去處理，比如20，就是20一批處理 p...
Oracle按資料量分批次提交
留備 declare type cur is ref cursor my cur cur col num scott.emp test rowtype num number 10 begin open my cur for select from scott.emp test loop fetch ...
mysql建立事務，分批次重新整理大資料
對於需要重新整理的大資料量，當一次重新整理資料量過大時，事務太大，會導致binlog檔案太大，在不同的資料庫同步時，可能遇到問題，先整理如下，分批次重新整理資料 1 delimiter 設定 為結束符,否則命令列中的 會與預設的 衝突 2drop procedure ifexists test 如果...