使用kafkachannel 啟動flume報錯

2021-09-11 04:47:25 字數 1108 閱讀 2747

在使用kafkachannel時,啟動flume報錯

org.apache.flume.conf.configurationexception: broker list must be specified

原因是我使用的flume的版本是1.6.0的,kafka是kafka_2.11-0.10.2.1,

kafka使用的是新版,而flume使用的比較老,在定義broker時,flume新老版本不一致

這個是我原來寫的配置,這個是flume1.7以後才是這樣寫,所以會報上面的錯

a0.channels.c1.type = org.apache.flume.channel.kafka.kafkachannel

a0.channels.c1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092

a0.channels.c1.kafka.topic = userif

#a0.channels.c1.parseasflumeevent = false

a0.sources.r1.channels = c1

解決就是把--bootstrap-servers 換成brokerlist,或者換乙個高一點的flume版本,為了確保萬無一失,把zookeeper.jar 拷貝到flume的lib下

a0.channels.c1.type = org.apache.flume.channel.kafka.kafkachannel

a0.channels.c1.brokerlist = bigdata01:9092,bigdata02:9092,bigdata03:9092

a0.channels.c1.zookeeperconnect=192.168.136.150:2181

a0.channels.c1.topic = userif

a0.sources.r1.channels = c1

oracleDBConsoleorcl 啟動問題

oracle服務oracledbconsoleorcl啟動失敗解決方案 oracledbconsole服務不能啟動,訪問 http 機器名 1158 em 不能進入em介面,系統事件檢視器裡面記錄 agent process exited abnormally during initializati...

python使用(一) pycharm安裝與啟用

2.安裝後啟用碼啟用,3.注意修改host檔案,方法 hosts檔案在系統中位於c winnt system32 drivers etc 目錄中,找到host檔案。首先,要去掉hosts檔案的唯讀屬性,方法是 選中hosts檔案 滑鼠右鍵 屬性 將 唯讀 可選框前的對勾去掉 確定 然後,使用記事本 ...

Linux 下使用 systemd 設定開機啟動項

下面的教程將介紹如何將命令或程式配置為開機啟動時自動執行的服務。完成配置之後,就可以通過 linux 命令列來 啟動 停止 禁用 這個服務了。建立服務 在樹莓派上建立乙個 service 檔案。例如 myscript.service unit description my service after...