Flume監聽oracle表增量

需求：獲取oracle表增量資訊，傳送至udp514埠，支援ip配置

步驟：（1）需要的jar  oracle的 odbc5.jar（oracle安裝目錄  /jdbc/lib下查詢）

這兩個jar 都拷貝到flume的lib下

（3）flume配置檔案

（4）遞增欄位要放在select的第一位 ，切記

a1.sources = r1

a1.sinks = k1
a1.channels = c1
#接收syslog配置
#a1.sources.r1.type = syslogudp
#a1.sources.r1.port = 514
#a1.sources.r1.host = 0.0.0.0
###########sql source#################
a1.sources.r1.type = org.keedio.flume.source.sqlsource
a1.sources.r1.hibernate.connection.url = jdbc:oracle:thin:@10.9.224.36:1521/soc
# hibernate database connection properties
a1.sources.r1.hibernate.connection.autocommit = true
a1.sources.r1.hibernate.dialect = org.hibernate.dialect.oracle10gdialect
a1.sources.r1.hibernate.connection.driver_class = oracle.jdbc.driver.oracledriver
a1.sources.r1.run.query.delay=1
a1.sources.r1.status.file.path = /usr/local/flume
a1.sources.r1.status.file.name = a1.sqlsource.status
# custom query
a1.sources.r1.start.from = '2017-07-31 07:06:20'
a1.sources.r1.custom.query = select chr(39)||to_char(createtime,'yyyy-mm-dd hh24:mi:ss')||chr(39),msg from flume_ng_sql_source where createtime > to_date($@$,'yyyy-mm-dd hh24:mi:ss') order by createtime asc
a1.sources.r1.batch.size = 6000
a1.sources.r1.max.rows = 1000
a1.sources.r1.hibernate.connection.provider_class = org.hibernate.connection.c3p0connectionprovider
a1.sources.r1.hibernate.c3p0.min_size=1
a1.sources.r1.hibernate.c3p0.max_size=10
###########sql source#################
#自定義型別
a1.sinks.k1.type = com.neusoft.utils.syslogsink
#配置傳送ip
a1.sinks.k1.destination = 10.9.224.36
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactioncapacity = 10000
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
#啟動命令  ./flume-ng agent -c ../conf -f ../conf/flume-sql.conf -n a1 -dflume.root.logger=info,console &

Flume監聽埠資料

1 需求 使用flume監聽乙個埠，收集該埠資料並列印。2 實現步驟 1.安裝netcat工具 yum install nc 安裝netcat工具 正在嘗試其他映象 使用yun clean all和rpm rebuilddb應該可以解決。2.判斷埠是否被占用 netstat tunpl grep 4...

ORACLE表主鍵自增

下面用乙個例子來說明自增主鍵的建立 一 先建立一張表 drop table 表名 create table 表名 id integer primary key,主鍵 需要設定成自動增加 name varchar2 20 varchar2 2 二 建立squence drop sequence seq...

oracle 表 主鍵自增

1 建立表 2 建立自動增長序列 create sequence v systemlog sequence 自定義命名 increment by 1 每次加幾個 start with 1 從1開始計數 nomaxvalue 不設定最大值，設定最大值 maxvalue 999999999 nocycl...