Kafka與flume的整合

#為我們的source channel  sink起名

a1.sources = r1
a1.channels = c1
a1.sinks = k1
#指定我們的source收集到的資料傳送到哪個管道
a1.sources
.r1.channels = c1
#指定我們的source資料收集策略
a1.sources
.r1.type = spooldir
a1.sources
.r1.spooldir = /export/servers/flumedata
a1.sources
.r1.deletepolicy = never
a1.sources
.r1.filesuffix = .completed
a1.sources
.r1.ignorepattern = ^(.)*\\.tmp$
a1.sources
.r1.inputcharset = gbk
#指定我們的channel為memory,即表示所有的資料都裝進memory當中
a1.channels
.c1.type = memory
#指定我們的sink為kafka  sink，並指定我們的sink從哪個channel當中讀取資料
a1.sinks
.k1.channel = c1
a1.sinks
.k1.type = org.apache
.flume
.sink
.kafka
.kafkasink
a1.sinks
.k1.kafka
.topic = testnew
a1.sinks
.k1.kafka
.bootstrap
.servers = node01:9092,node02:9092,node03:9092
a1.sinks
.k1.kafka
.flumebatchsize = 20
a1.sinks
.k1.kafka
.producer
.acks = 1

bin/flume-ng

agent--
conf
conf--
conf
-file
conf/flume
.conf--
namea1-
dflume
.root
.logger=info
,console

HDP 集群中flume與kafka的整合

首先保證flume與kafka正確安裝並啟動，這個比較簡單，直接在ambari中新增新服務即可，不多贅述。配置flume 新建一配置檔案kafka.conf,編輯，追加一下內容。掃瞄指定檔案配置 agent.sources s1 agent.channels c1 agent.sinks k1 ag...

kafka整合flume詳細步驟

對於初學者來說，可能對kafka和flume有一定的了解，但是並沒有過實際的應用，也不知道如何來使用。這篇文章主要針對kafka和flume的整合 環境 linux 準備工作 搭建好zookeeper集群及kafka集群 版本 kafka 2.11 1.1.0，flume 1.8.0 步驟 啟動zo...

Flume整合Kafka的簡單demo記錄

啟動zookeeper和kafka，單節點 bin zookeeper server start.sh config zookeeper.properties bin kafka server start.sh config server.properties 2.建立主題 建立乙個主題 flume...