網上關於flume採集關聯式資料庫如mysql的資料比較多，但是大部分都是複製貼上，一錯皆錯，而且對於配置引數的介紹不太完整，或者未說明引數意義，由於最近在使用flume，所以在這裡對配置引數簡單總結一下。
這裡只介紹sql-source的配置
agent.channels=ch1
agent.channels.ch1.type=memory
agent.sources=sql-source
agent.sources.sql-source.channels=ch1
agent.sources.sql-source.type=org.keedio.flume.source.sqlsource
agent.sources.sql-source.hibernate.connection.url=jdbc:mysql:
agent.sources.sql-source.hibernate.connection.user=root
agent.sources.sql-source.hibernate.connection.password=123456
agent.sources.sql-source.hibernate.connection.autocommit=true #這個引數很重要，預設false,如果設為false就不會自動查詢
agent.sources.sql-source.run.query.delay=5000 #查詢間隔，單位毫秒
agent.sources.sql-source.custom.query=select * from test_table where id > $@$ order by id #這裡的$@$表示增量列上一次查詢的值，記錄在status檔案中
agent.sources.sql-source.start.from=50000 #增量列的初始值
agent.sources.sql-source.status.file.path=/var/lib/flume
agent.sources.sql-source.status.file.name=sql-source.status
flume資料採集扇入
conf檔案的定義 1 agent a3.sources r3 r4 a3.sinks k3 a3.channels c3 2 source 監控目錄的型別 a3.sources.r3.type spooldir 監控目錄的路徑 a3.sources.r3.spooldir opt model ha...
flume案例 網路資料採集 Flume的配置
開發配置檔案 根據資料採集的需求配置採集方案，描述在配置檔案中 檔名可任意自定義 配置我們的網路收集的配置檔案 在flume的conf目錄下新建乙個配置檔案 採集方案 vim export servers apache flume 1.8.0 bin conf netcat logger.conf ...
關聯式資料庫 關係資料結構
若關係中的某一屬性組的值能夠唯一地標識乙個元組，而其他子集不能，則稱該屬性組為候選碼。若乙個關係中有多個候選碼，則選定其中乙個為主碼。候選碼的諸屬性稱為主屬性，不包含在任何候選碼中的屬性稱為非主屬性或者叫非碼屬性。在最簡單的情況下，候選碼只包含乙個屬性，在最極端的情況下，關係模式的所有屬性是這個關係...