2.抽取某張表的歷史資料:
1.啟動maxwell:
1.1、控制台為輸出:
bin/maxwell --user='maxwell' --password='123456' --host='10.199.140.143' --producer=stdout --daemon
1.2、kafka為輸出:bin/maxwell --user='maxwell' --password='123456' --host='10.199.140.143' \
--producer=kafka --kafka.bootstrap.servers=10.199.151.15:9092 --kafka_topic=wsk_maxwell_test
1.3、配置指定某些表輸出:bin/maxwell --user='maxwell' --password='123456' --host='10.199.140.143' --client_id=test --daemon \
--producer=kafka --kafka.bootstrap.servers=10.199.151.15:9092 --kafka_topic=wsk_maxwell_test \
--filter='exclude: *.*, include: bdps_dcs_test.dcs_script, include: bdps_dcs_test.dcs_task_table'
1.4、配置輸出到kafka,分割槽規則為表的主鍵:bin/maxwell --user='maxwell' --password='123456' --host='10.199.140.143' --client_id=test \
--producer=kafka --kafka.bootstrap.servers=10.199.151.15:9092 --kafka_topic=wsk_maxwell_test \
--producer_partition_by=column --producer_partition_columns='id' --producer_partition_by_fallback=primary_key \
--filter='exclude: *.*, include: bdps_dcs_test.dcs_script, include: bdps_dcs_test.dcs_task_table'
1.5、配置檔案啟動maxwell
2.抽取某張表的歷史資料:
maxwell引導某張表全量資料時會多發三條訊息,首兩條是引導的配置資訊、引導開始資訊,結尾一條是引導結束資訊
2.1、直接全量抽取歷史資料
命令列:
bin/maxwell-bootstrap --user='maxwell' --password='123456' --host='10.199.140.143' --client_id=test \
--database bdps_dcs_test --table dcs_task_table
sql:
insert into maxwell.bootstrap (database_name, table_name,client_id ) values ('bdps_dcs_test', 'dcs_task_table','test');
2.2、繼續監控某張表bootstrapbin/maxwell-bootstrap --user='maxwell' --password='123456' --host='10.199.140.143' \
--abort 3
2.3、停止某張表的bootstrapbin/maxwell-bootstrap --user='maxwell' --password='123456' --host='10.199.140.143' \
--monitor 3
2.4、新增where條件啟動:
略
docker常用命令 Docker 常用命令筆錄
格式docker run 選項 映象 命令 引數.示例docker run it rm ubuntu 16.04 bash 示例解釋 it 這是兩個引數,乙個是 i,表示互動式操作,乙個是 t表示終端 rm 這個引數是說容器退出後隨之將其刪除 ubuntu 16.04 這是指用ubuntu 16.0...
常用命令 Git 常用命令大全
安裝教程可參照 廖雪峰老師的安裝教程。git config 在git中,使用git config 命令來配置 git 的配置檔案,git配置級別主要有3類 1 倉庫級別 local 本地 git 倉庫級別配置檔案,作用於當前倉庫。優先順序最高 2 使用者級別 global,全域性配置檔案,作用於所有...
Linux常用命令 vi vim常用命令介紹
vi vim是linux系統自帶的乙個功能豐富的文字編輯器 命令字元 介紹dd 雙擊d 剪下當前行 num dd 雙擊d 剪下當前行 例如10dd可以刪除10行 yy拷貝當前行 p將內容貼上至游標所示位置 命令 說明 set number 頁面顯 hi 檢視當前系統提供的高亮模式 match col...