啟動zookeeper和kafka，單節點
bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties
2. 建立主題
建立乙個主題 flume-demo，之後 flume 收集到的資料都會發到這個主題上：
bin/kafka-topics.sh --create --bootstrap-server service1:9092 --replication-factor 1 --partitions 1 --topic flume-demo
3. 啟動kafka消費者
bin/kafka-console-consumer.sh --bootstrap-server service1:9092 --topic flume-demo
4. 配置flume
新建配置檔案 exec-memory-kafka.properties。監聽乙個名為 kafka.log 的檔案，當檔案內容有變化時，將新增加的內容傳送到 kafka 的 flume-demo主題上
a1.sources = s1
a1.channels = c1
a1.sinks = k1
a1.sources.s1.type=exec
a1.sources.s1.command=tail -f /tmp/kafka.log
a1.sources.s1.channels=c1
#設定kafka接收器
a1.sinks.k1.type= org.apache.flume.sink.kafka.kafkasink
#設定kafka位址
a1.sinks.k1.brokerlist=service1:9092
#設定傳送到kafka上的主題
a1.sinks.k1.topic=flume-demo
#設定序列化方式
a1.sinks.k1.serializer.class=kafka.serializer.stringencoder
a1.sinks.k1.channel=c1
a1.channels.c1.type=memory
a1.channels.c1.capacity=10000
a1.channels.c1.transactioncapacity=100
5. 啟動flume
flume-ng agent --conf conf --conf-file examples/exec-memory-kafka.properties --name a1 -dflume.root.logger=info,console
Kafka與flume的整合
為我們的source channel sink起名 a1.sources r1 a1.channels c1 a1.sinks k1 指定我們的source收集到的資料傳送到哪個管道 a1.sources r1.channels c1 指定我們的source資料收集策略 a1.sources r1....
kafka整合flume詳細步驟
對於初學者來說，可能對kafka和flume有一定的了解，但是並沒有過實際的應用，也不知道如何來使用。這篇文章主要針對kafka和flume的整合 環境 linux 準備工作 搭建好zookeeper集群及kafka集群 版本 kafka 2.11 1.1.0，flume 1.8.0 步驟 啟動zo...
HDP 集群中flume與kafka的整合
首先保證flume與kafka正確安裝並啟動，這個比較簡單，直接在ambari中新增新服務即可，不多贅述。配置flume 新建一配置檔案kafka.conf,編輯，追加一下內容。掃瞄指定檔案配置 agent.sources s1 agent.channels c1 agent.sinks k1 ag...