乙個完整的flinkx任務指令碼配置包含 content， setting兩個部分。content用於配置任務的輸入源與輸出源，其中包含reader，writer。而setting則配置任務整體的環境設定，其中包含restore，speed，errorlimit，dirty，log。具體如下所示：
,"writer":}
],"setting":,
"speed":,
"errorlimit":,
"dirty":,
"log":}
}}
說明是否必填
content
reader
reader外掛程式詳細配置
是writer
writer外掛程式詳細配置
是setting
restore
任務型別及斷點續傳配置
否speed
速率限制
否errorlimit
出錯控制
否dirty
髒資料儲存
否log
日誌記錄配置
否reader用於配置資料的輸入源，即資料從何而來。具體配置如下所示：
"reader"
:}
說明是否必填
name
reader外掛程式名稱，具體名稱參考各資料來源配置文件
是parameter
資料來源配置引數，具體配置參考各資料來源配置文件
是writer用於配置資料的輸出源，即資料寫往何處。具體配置如下所示：
"writer"
:}
說明是否必填
name
writer外掛程式名稱，具體名稱參考各資料來源配置文件
是parameter
資料來源配置引數，具體配置參考各資料來源配置文件
是restore用於配置同步任務型別（離線同步、實時採集）和斷點續傳功能。具體配置如下所示：
"restore"
:
說明是否必填
預設值引數型別
isstream
是否為實時採集任務
否false
boolean
isrestore
是否開啟斷點續傳
否false
boolean
restorecolumnname
斷點續傳欄位名稱
開啟斷點續傳後必填
無string
restorecolumnindex
斷點續傳字段索引id
開啟斷點續傳後必填
-1int
maxrownumforcheckpoint
觸發checkpoint資料條數
否10000
intspeed用於配置任務併發數及速率限制。具體配置如下所示：
"speed"
:
說明是否必填
預設值引數型別
channel
任務併發數否1
intbytes
bytes >0則表示開啟任務限速
否long.max_value
long
errorlimit用於配置任務執行時資料讀取寫入的出錯控制。具體配置如下所示：
"errorlimit"
:
說明是否必填
預設值引數型別
record
錯誤閾值，當錯誤記錄數超過此閾值時任務失敗否0
intpercentage
錯誤比例閾值，當錯誤記錄比例超過此閾值時任務失敗
否0.0
double
dirty用於配置髒資料的儲存，通常與上文出錯控制聯合使用。具體配置如下所示：
"dirty"
:}
說明是否必填
預設值引數型別
path
髒資料儲存路徑是無
sring
hadoopconfig
hadoop相關配置是無
k-v鍵值對
"dirty"
:}
log用於配置flinkx中定義的外掛程式日誌的儲存與記錄。具體配置如下所示：
"log"
:
說明是否必填
預設值引數型別
islogger
是否儲存日誌記錄
否false
boolean
level
日誌級別
否info
string
path
伺服器上日誌儲存路徑
否/tmp/dtstack/flinkx/
string
pattern
日誌輸出格式
否log4j：%d [%thread] %-5level %logger %x - %msg%n
string
logback : %d %-5p %-60c %x - %m%n
這是乙個mongo => mysql 的例項
,"errorlimit":,
"dirty":}
},"content":[
,,,]
,"filter":""
},"name"
:"mongodbreader"},
"writer":]
}}}]
}}
配置檔案解析函式
config.h this file is usred for parsing configure file.e mail yhniejun 163.com 2007.01.25 mr.nie the struct of config file.struct conf info typedef st...
tinyxml解析配置檔案
一 tinyxml類簡單介紹 tinyxml實現的時dom訪問模型，因此提供了一系列的類對應xml檔案中的各個節點。主要類間的關係如下圖所示 tixmlbase 其他類的基類，是個抽象類 tixmldocument 表示整個xml文件，不對應其中某個特定的節點。tixmlelement 表示元素節點...
DOM解析配置檔案
config.php header content type text html charset utf 8 doc new domdocument 1.0 utf 8 doc load config.xml 第一步獲得documentelement跟元素 config doc documentel...