1.flume安裝位置：10.96.183.54： /home/hadoop/flume-1.7.0/
2.配置文件：aoi.properties
aoi.channels = c1
aoi.sources = r1
aoi.sinks = k1
aoi.sources.r1.type = spooldir
aoi.sources.r1.channels = c1
aoi.sources.r1.spooldir = /mnt/aoi/juzte
aoi.sources.r1.fileheader = true
aoi.sources.r1.filesuffix = .completed
aoi.sources.r1.fileheaderkey = file
aoi.sources.r1.deletepolicy = immediate
aoi.sources.r1.recursivedirectorysearch = true
#aoi.sources.r1.ignorepattern= ^error.*\.txt$
#aoi.sources.r1.recursivedirectorysearch=true
#aoi.sources.r1.includepattern=^182*.*\.txt$
aoi.sources.r1.trackerdir=/home/hadoop/flume-1.7.0/trackerdir/.flumespool
aoi.sources.r1.inputcharset = utf-8
aoi.sources.r1.batchsize = 1000
aoi.sources.r1.decodeerrorpolicy = ignore
aoi.sources.r1.deserializer = line
aoi.channels.c1.type =file
aoi.channels.c1.capacity = 2000
aoi.channels.c1.transactioncapacity = 2000
aoi.channels.c1.keep-alive = 1
aoi.sinks.k1.type = org.apache.flume.sink.kafka.kafkasink
aoi.sinks.k1.kafka.topic = aoi
aoi.sinks.k1.kafka.bootstrap.servers = 10.96.183.35:9092
aoi.sinks.k1.kafka.flumebatchsize = 200
aoi.sinks.k1.useflumeeventformat = true
aoi.sinks.k1.kafka.producer.acks = 1
aoi.sinks.k1.kafka.producer.linger.ms = 1
aoi.sinks.k1.channel=c1
名詞解釋：spooldir
flume提供了乙個基於跟蹤資料夾內「檔案個數」變動的source稱之為
spool directory source
。它跟蹤目標日誌資料夾，當有新的日誌檔案產生時就會觸發對新日誌檔案的收集，但它不支援日誌檔案的追加。也就是說一旦它開始收集某個日誌檔案，那麼這個日誌檔案就不能再被編輯，如果在讀取日誌檔案的時候，日誌檔案產生了變動那麼它將會丟擲異常。也就是說，當收集到當日日誌檔案時，同時又有新的日誌在往裡面寫入時，該source是不適合這種需求的。
我們希望日誌檔案按天滾動產生新的日誌檔案，當天的日誌以追加的方式寫入當天的日誌檔案並且agent還要能夠以接近實時的速度收集新產生的日誌（追加）的。如果agent掛掉或者伺服器宕機，日誌檔案不能丟失，agent能夠自動跨日期收集。其實，spooling directory source已經為我們的實現提供了模板，但要進行一些改造，主要是以下幾點：
（1）原先的spooling directory source不支援對收集的日誌檔案的內容進行追加：
如果檔案有任何改動，將以異常的形式丟擲。此處需要移除異常
（2）對當日日誌檔案進行持續監控
Flume生產環境配置
start dfs.shwhile true do echo random a.log sleep 0.01 done 迴圈產生隨機數寫入到a.log中a1.sources r1 source的名字 a1.sinks k1 sink的名字 a1.channels c1 channel的名字 全都可以...
flume配置模板
root server 21 apache flume 1.6.0 bin cat test.properties 01 flume netcat test agent name a1 source netcat channel memory sink logger,local console 01...
Flume常用配置
flume常用配置4 taildir.source memory.channel hdfs.sink 以下配置基於版本apache flume 1.8.0 bin 我們假定已經對flume有一定了解，並且對flume 的各個元件有一定了解。我們演示乙個基本的 source 為 taildir源 ch...