1、修改$flume_home/conf/flume-site.xml的配置檔案
,在裡面新增以下配置:
flume.plugin.classes
com.cloudera.flume.hbase.hbasesink,
com.cloudera.flume.hbase.attr2hbaseeventsink
comma separated list of plugin classes
複製**
其中value屬性配置的是hbase sink類,需要將包名新增進去。
如果你需要編寫自己的hbase sink類,只需要使你的類繼承自eventsink.base類,並按要求重寫其中的一些方法,具體可以參照flume原始碼自帶的hbasesink和attr2hbaseeventsink類的寫法。
2、拷貝hbase sink jar檔案到$flume_home/plugins資料夾裡面
[wyp@master
plugins] cp ~/flume-plugin-hbasesink-0.9.4-cdh3u3.jar \
$flume_home/plugins
複製**
其實不需要拷貝到$flume_home/plugins裡面,你隨便放都行,這裡主要是為了便於以後的
管理而這樣配置的。
3、修改$flume_home/bin/flume-env.sh檔案,在裡面新增如下內容
export flume_classpath= \
/home/q/flume-0.9.4-cdh3u3/plugins/flume-plugin-hbasesink-0.9.4-cdh3u3.jar
複製**
4、重啟flume master節點
重啟完flume master節點之後,可以在http://master:35871/masterext.jsp頁面中的sinks**裡面看到attr2hbase和hbase兩個hbase sink,這樣你就可以在collector裡面用到這個sink。當然,如果預設的hbase sink不能滿足你的要求,可以自己寫乙個hbase sink。
原始碼位址
Flume 生產配置
1.flume安裝位置 10.96.183.54 home hadoop flume 1.7.0 2.配置文件 aoi.properties aoi.channels c1 aoi.sources r1 aoi.sinks k1 aoi.sources.r1.type spooldir aoi.so...
flume配置模板
root server 21 apache flume 1.6.0 bin cat test.properties 01 flume netcat test agent name a1 source netcat channel memory sink logger,local console 01...
Flume常用配置
flume常用配置4 taildir.source memory.channel hdfs.sink 以下配置基於版本apache flume 1.8.0 bin 我們假定已經對flume有一定了解,並且對flume 的各個元件有一定了解。我們演示乙個基本的 source 為 taildir源 ch...