datax 如何使用datax

2021-09-19 18:11:24 字數 913 閱讀 4053

},"content": [,],

"fielddelimiter": ","}},

"writer": }}

]}

}

在當前目錄下執行python datax.py test.json命令,即可將datax執行起來

三、引數說明

1、datax使用json作為配置檔案,檔案可以是本地的也可以是遠端http伺服器上面

2、json配置檔案最外層是乙個job,job包含setting和content兩部分,其中setting用於對整個job進行配置,content是資料的源和目的

3、setting:用於設定全域性channel配置,髒資料配置,限速配置等,本例中只配置了channel個數1,也就是使用單執行緒執行資料傳輸

4、content:

1)reader:配置從**讀資料

name:外掛程式名稱,需要和工程中的外掛程式名保持一致

parameter:外掛程式對應的輸入引數

path:源資料檔案的路徑

encoding:資料編碼

fielddelimiter:資料分隔符

column:源資料按照分隔符分割之後的位置和資料型別

2)writer:配置將資料寫到**去

name:外掛程式名稱,需要和工程中的外掛程式名保持一致

parameter:外掛程式對應的輸入引數

path: 目標路徑

filename: 目標檔名字首

writemode: 寫入目標目錄的方式

5、具體外掛程式引數含義可以檢視datax官方文件

1)2)

四、/***/src測試資料

檔案a:

1,23,4

5,6

datax 如何使用datax

content fielddelimiter writer 在當前目錄下執行python datax.py test.json命令,即可將datax執行起來 三 引數說明 1 datax使用json作為配置檔案,檔案可以是本地的也可以是遠端http伺服器上面 2 json配置檔案最外層是乙個job,...

datax 模板 datax實戰

一 全量同步 1.簡單字段同步 本次測試的表為mysql的系統庫 sakila中的actor表,由於不支援目的端自動建表,此處預先建立目的表 create table actor copy actor id smallint 5 unsigned not nullauto increment,fir...

datax 模板 datax模板

datax 是乙個異構資料來源離線同步工具,致力於實現包括關係型資料庫 mysql oracle等 hdfs hive odps hbase ftp等各種異構資料來源之間穩定高效的資料同步功能。1.mysql2mysql.json job username userpassword dbname d...