準備工作
進入到datax3.0的bin目錄下執行:python datax.py …/job/job.json
得到以下圖示 結果(如中文出現亂碼,直接輸入chcp 65001回車,重新執行命令即可):
2020-09-10 10:15:35.899 [job-0] info jobcontainer -
任務啟動時刻 : 2020-09-10 10:15:25
任務結束時刻 : 2020-09-10 10:15:35
任務總計耗時 : 10s
任務平均流量 : 253.91kb/s
記錄寫入速度 : 10000rec/s
讀出記錄總數 : 100000
讀寫失敗總數 : 0
如果出現上面的結果,說明該datax能夠正常使用!
1、資料表
匯出資料表
欄位名型別備註
sys_name
varchar
系統名稱
bug_name
varchar
bug名稱
bug_detail
varchar
bug細節
weight
tinyint
重要度並向其中插入資料,如下表所示。
sys_name
bug_name
bug_detail
weightab
c2b3
c255
c266
c277
c288
c299
c21010c2
1111c2
1212c2
1313c2
1414c2
1515c2
匯入資料表資料結構同上表
欄位名型別
備註sys_name
varchar
系統名稱
bug_name
varchar
bug名稱
bug_detail
varchar
bug細節
weight
tinyint
重要度2、構建任務json
datax工具是用json檔案作為配置檔案的,根據官方提供文件我們構建json檔案如下所示,test.json。
]}
}, "writer":]
}}}],
"setting":,
"errorlimit":}
}}
它由三部分組成,分別是讀,寫和通用配置。
reader部分,也就是讀,常用以下幾種引數,如表讀參數列所示。讀參數列
引數名解釋
備註name
與要讀取的資料庫一致
字串jdbcurl
資料庫鏈結
username
使用者名稱字串,資料庫的使用者名稱
password
密碼字串,資料庫的密碼
table
要同步的表名
陣列,需保證表結構一致
column
要同步的列名
陣列where
選取的條件
字串querysql
自定義查詢語句
會自動忽略上述的同步條件
writer部分,也就是寫,常用以下幾種引數,如表寫參數列所示。寫參數列
引數名解釋
備註name
與要讀取的資料庫一致
字串jdbcurl
資料庫鏈結
字串;不和writer一樣;可以填寫連線附件控制資訊
username
使用者名稱字串,資料庫的使用者名稱
password
密碼字串,資料庫的密碼
table
要同步的表名
陣列,需保證表結構一致
column
要同步的列名
列名可以不對應,但是型別和總的個數要一致
presql
寫入前執行的語句
陣列,比如清空表等
postsql
寫入後執行的語句
陣列writemode
寫入方式,預設為insert
insert/replace/update
jdbcurl引數說明:引數名稱jdbc:mysql:
引數說明
user
資料庫使用者名稱(用於連線資料庫)
password
使用者密碼(用於連線資料庫)
useunicode
是否使用unicode字符集,如果引數characterencoding設定為gb2312或gbk,本引數值必須設定為true
characterencoding
當useunicode設定為true時,指定字元編碼。比如可設定為gb2312或gbk
autoreconnect
當資料庫連線異常中斷時,是否自動重新連線?
autoreconnectforpools
是否使用針對資料庫連線池的重連策略
failoverreadonly
自動重連成功後,連線是否設定為唯讀?
maxreconnects
autoreconnect設定為true時,重試連線的次數
initialtimeout
autoreconnect設定為true時,兩次重連之間的時間間隔,單位:秒
connecttimeout
和資料庫伺服器建立socket連線時的超時,單位:毫秒。 0表示永不超時,適用於jdk 1.4及更高版本
sockettimeout
socket操作(讀寫)超時,單位:毫秒。 0表示永不超時
job.setting.speed(流量控制)
job支援使用者對速度的自定義控制,channel的值可以控制同步時的併發數,byte的值可以控制同步時的速度
job.setting.errorlimit(髒資料控制)
job支援使用者對於髒資料的自定義監控和告警,包括對髒資料最大記錄數閾值(record值)或者髒資料佔比閾值(percentage值),當job傳輸過程出現的髒資料大於使用者指定的數量/百分比,datax job報錯退出。
執行:python 空格\bin\datax.py 空格,如,python f:\workspace\datax\bin\datax.py f:\download\datax\job\test.json
如果有匯入中文資料,注意資料庫中設定的排序規則,要設成成uft8之類的。
tsung 安裝及測試使用
2.安裝gnuplot 5.0.6.tar.gz 放在tsung下,使用tar zvxf gnuplot 5.0.6.tar.gz解壓 進入cd gnuplot 5.0.6目錄下 使用命令 configure prefix usr local gnuplot 使用make make install ...
datax環境搭建安裝和如何使用概述
先保證如下軟體已經成功安裝,系統 為 linux wget tar zxvf datax.tar.gz 進入datax的目錄,測試指令碼及環境運 況 python bin datax.py job job.json 能夠列印出如下的結果,說明已經成功安裝 任務啟動時刻 2018 08 31 11 2...
gtest安裝及測試
git clonegtest編譯 cd googletest生成makefile檔案 先安裝cmake,brew install cmake cmake cmakelists.txt執行make,生成兩個靜態庫 libgtest.a libgtest main.a make拷貝到系統目錄,注意,如果...