官網文件位址 :
],
"password": "********",
"username": "********",
"splitpk":"contno",}},
"writer":
],"presql": [
"drop table 語句",
"create table 語句"
],"password": "*****",
"username": "*****"}}
}],
"setting": }}
}這個例子是每次拉去全量資料從oracle表對表抽取到mysql,其實還可以實現增量抽取,這個需要些crontab和shell 指令碼,
在linux上執行,crontab寫定時任務去排程shell指令碼,shell指令碼裡面執行job檔案,執行命令datax官網有介紹,job配置檔案各個
引數的意義也有介紹,增量抽取一般按照表的時間戳抽取,每次抽取前通過shell指令碼讀取預先儲存在檔案中的上次抽取日期,然後通過命令引數傳入指令碼中
#!/bin/bash
max_time="'$(cat /root/temp/dataxtime/jobtime_*)'"
echo $max_time
/root/datax/bin/datax.py /root/datax/job/test1.json -p "-dmax_time=$max_time" >>/root/log/datax/test_log.`date +%y%m%d` 2>&1 &
其他複雜一點例子,查閱一下資料後,自己稍加思考都可以做
datax 如何使用datax
content fielddelimiter writer 在當前目錄下執行python datax.py test.json命令,即可將datax執行起來 三 引數說明 1 datax使用json作為配置檔案,檔案可以是本地的也可以是遠端http伺服器上面 2 json配置檔案最外層是乙個job,...
datax 如何使用datax
content fielddelimiter writer 在當前目錄下執行python datax.py test.json命令,即可將datax執行起來 三 引數說明 1 datax使用json作為配置檔案,檔案可以是本地的也可以是遠端http伺服器上面 2 json配置檔案最外層是乙個job,...
DataX工具遷移DRDS到DRDS使用介紹
datax介紹 datax 是阿里巴巴集團內被廣泛使用的離線資料同步工具 平台,實現包括 mysql oracle sqlserver postgre hdfs hive ads hbase tablestore ots maxcompute odps drds 等各種異構資料來源之間高效的資料同步...