資料整合工具 FlinkX

2、flinkx的簡單使用

unzip flinkx-1.10.zip -d /usr/local/soft/

chmod a+x flinkx

vim flinkconf/flink-conf.yaml

## web服務埠，不指定的話會隨機生成乙個

rest.bind-port: 8888

],"column": [
"*"],
"customsql": "",
"where": "clazz = '理科二班'",
"splitpk": "",
"querytimeout": 1000,
"requestaccumulatorinterval": 2
},"name": "mysqlreader"
},"writer": ,,,
,,
],"fielddelimiter": ",",
"filetype": "text",
"writemode": "overwrite"}}
}],
"setting": ,
"errorlimit": {},
"speed": }}
}

flinkx -mode local -job /usr/local/soft/flinkx-1.10/jsonconf/mysqltohdfs.json -pluginroot /usr/local/soft/flinkx-1.10/syncplugins/ -flinkconf /usr/local/soft/flinkx-1.10/flinkconf/

flinkx 任務啟動後，會在執行命令的目錄下生成乙個nohup.out檔案

"where": "clazz < '文科二班'",

"splitpk": "",

"querytimeout": 1000,

"requestaccumulatorinterval": 2

},"name": "mysqlreader"

},"writer": ,,]}",

"defaultfs": "hdfs://master:9000"}}

}],

"setting": ,

"errorlimit": {},

"speed": }}

}

create database testflinkx;

use testflinkx;
create table `student`(
`id` string, 
`name` string, 
`age` string)
partitioned by ( 
`pt` string)
row format delimited 
fields terminated by ',';

# 第一種方式：

hiveserver2
# 第二種方式:
hive --service hiveserver2

flinkx -mode local -job /usr/local/soft/flinkx-1.10/jsonconf/mysqltohive.json -pluginroot /usr/local/soft/flinkx-1.10/syncplugins/ -flinkconf /usr/local/soft/flinkx-1.10/flinkconf/

],"column": [
"*"],
"customsql": "",
"splitpk": "",
"querytimeout": 1000,
"requestaccumulatorinterval": 2
},"name": "mysqlreader"
},"writer": ,
"table": "testflinkx",
"rowkeycolumn": "$(info:student_id)_$(info:course_id)",
"column": [,,
]}}}
],"setting": ,
"errorlimit": {},
"speed": }}
}

create 'testflinkx','info'

flinkx -mode local -job /usr/local/soft/flinkx-1.10/jsonconf/mysqltohbase.json -pluginroot /usr/local/soft/flinkx-1.10/syncplugins/ -flinkconf /usr/local/soft/flinkx-1.10/flinkconf/

資料整合工具ETL到KAFKA

neha narkhede confluent創始人，kafka 觀點 etl 已死，而實時流長存 來自各種操作性資料庫的資料會以批處理的方式載入到資料倉儲的主模式中，批處理執行的週期可能是每天一次或兩次。這種資料整合過程通常稱為抽取 轉換 載入 extract transform load，etl...

整合ueditor工具

第二步是將解壓後的檔案新增到專案中，具體檔案如圖 其中介紹幾個重要的檔案，config.json這是配置檔案，比如檔案的上傳位址，訪問位址，上傳大小，檔案格式等等，都可以在此檔案修改，controller.ashx這是對前台的請求進行處理的檔案，還有乙個ueditor.config.js檔案，這是完...

iOS 持續化整合工具

使用過的自動打包工具有jenkins,flow.ci,fastlane 現在同時使用jenkins和fastlane,一本遠端庫,乙個本地庫打包 1.jenkins 配置複雜,歷史要悠久一些,一般工作中使用 穩定版本.單獨配置一台電腦做打包的裝置,可以自定很多東西.功能強大.可以拉取遠端倉庫的不同分...