canal資料同步mysql到tidb

2022-10-04 03:30:14 字數 385 閱讀 7603

canal進行資料同步

將mysql資料同步至tidb,方便其他業務和資料的統計

遇到的坑

資料檢查是乙個問題

兩台機器搭建canal server集群遇到問題

存量資料更新時

xorm中對於xorm:createdupdate資料會進行當前時間的替換

監聽binlog進行更新,資料庫update欄位使用下列方式

update_time timestamp not null default current_timestamp on update current_timestamp
更新資料會自動更新資料表時間

大概同步的資料

canal同步資料到redis

canal原理 canal需要使用到mysql,但canal是基於mysql的主從模式實現的,所以必須先開啟binlog 1 連線到mysql中,並修改 etc mysql mysql.conf.d mysqld.cnf 需要開啟主 從模式,開啟binlog模式。執行如下命令,編輯mysql配置檔案...

Canal幫助MySQL進行資料同步

內容來自於 一節課解密阿里巴巴canal 傳統mysql主從複製原理 canal原理 canal整體架構原理 檢查mysql配置相關命令 這些命令需要在mysql命令列中去檢視執行 是否啟用了日誌 show variables like log bin 檢視當前日誌 show master stat...

Oracle同步資料到MySQL

oracle同步資料到mysql 1 首先在treesoft資料庫中配置兩個資料來源資訊 2 配置資料同步任務,並執行任務 3 同步結果資料檢視確認 4 目前treesoft支援以下資料同步方案 1 mysql同步資料到oracl 2 mysql同步資料到postgresql 3 mysql同步資料...