源表在mysql：create table tt(id int, name varchar(50), primary key(id));
目標表pg: create table tt(id int, name varchar(50), primary key(id));
kettle配置資訊：
「用來查詢的關鍵字」： 填入primary key欄位，其他欄位不填
「更新字段」：填入需要同步過來的表字段。其中primary key欄位「更新」設定為n，這樣更新時只更新非主鍵字段，不會報唯一約束的錯誤，源表插入時所填字段全部插入目標表。
Kettle批量同步多張表資料
背景 公司想要將業務系統使用的資料庫由 sql server 切換到 oracle，因此需要將原 sql server 庫的資料同步到 oracle 庫中。因為涉及的資料表有幾百張，資料約百g的級別，一張表開發乙個kettle 太過於繁瑣了，因此考慮通過配置完成資料同步。方案 sqlserver 庫...
kettle資料同步的優化
在進行將oracle的資料同步到mysql的時候，由於資料量大導致使用kettle的全量同步比較慢，所以需要對這一過程進行優化。1 從源頭的表輸入入手 通過設定表輸入的多執行緒資料抽取，可提公升資料的輸入速度。但是如果只是在kettle設定表輸入的多執行緒數量的話，會導致資料重複。比如 select...
MySQL的非同步複製 全同步複製與半同步複製
非同步複製 非同步複製，主庫將事務 binlog 事件寫入到 binlog 檔案中，此時主庫只會通知一下 dump 執行緒傳送這些新的 binlog，然後主庫就會繼續處理提交操作，而此時不會保證這些 binlog 傳到任何乙個從庫節點上。半同步複製 半同步複製，是介於全同步複製與全非同步複製之間的一...