},"content": [,],
"fielddelimiter": ","}},
"writer": }}
]}
}
在當前目錄下執行python datax.py test.json命令,即可將datax執行起來
三、引數說明
1、datax使用json作為配置檔案,檔案可以是本地的也可以是遠端http伺服器上面
2、json配置檔案最外層是乙個job,job包含setting和content兩部分,其中setting用於對整個job進行配置,content是資料的源和目的
3、setting:用於設定全域性channel配置,髒資料配置,限速配置等,本例中只配置了channel個數1,也就是使用單執行緒執行資料傳輸
4、content:
1)reader:配置從**讀資料
name:外掛程式名稱,需要和工程中的外掛程式名保持一致
parameter:外掛程式對應的輸入引數
path:源資料檔案的路徑
encoding:資料編碼
fielddelimiter:資料分隔符
column:源資料按照分隔符分割之後的位置和資料型別
2)writer:配置將資料寫到**去
name:外掛程式名稱,需要和工程中的外掛程式名保持一致
parameter:外掛程式對應的輸入引數
path: 目標路徑
filename: 目標檔名字首
writemode: 寫入目標目錄的方式
5、具體外掛程式引數含義可以檢視datax官方文件
1)2)
四、/***/src測試資料
檔案a:
1,23,4
5,6
datax 如何使用datax
content fielddelimiter writer 在當前目錄下執行python datax.py test.json命令,即可將datax執行起來 三 引數說明 1 datax使用json作為配置檔案,檔案可以是本地的也可以是遠端http伺服器上面 2 json配置檔案最外層是乙個job,...
datax 模板 datax實戰
一 全量同步 1.簡單字段同步 本次測試的表為mysql的系統庫 sakila中的actor表,由於不支援目的端自動建表,此處預先建立目的表 create table actor copy actor id smallint 5 unsigned not nullauto increment,fir...
datax 模板 datax模板
datax 是乙個異構資料來源離線同步工具,致力於實現包括關係型資料庫 mysql oracle等 hdfs hive odps hbase ftp等各種異構資料來源之間穩定高效的資料同步功能。1.mysql2mysql.json job username userpassword dbname d...