flume監聽埠的配置檔案：
#smple.conf: a single-node flume configuration
#name the components on this agent 定義變數方便呼叫 加s可以有多個此角色
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#describe/configure the source 描述source角色 進行內容定製
#此配置屬於tcp source 必須是netcat型別
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
#describe the sink 輸出日誌檔案
a1.sinks.k1.type = logger
#use a channel which buffers events in memory（file） 使用記憶體 總大小1000 每次傳輸100
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactioncapacity = 100
#bind the source and sink to the channel 乙個source可以繫結多個channel
#乙個sinks可以只能繫結乙個channel 使用的是圖二的模型
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
flume收集日誌檔案配置：
#name the components on this agent agent別名設定
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#describe/configure the source 設定資料來源監聽本地檔案配置
#exec 執行乙個命令的方式去檢視檔案 tail -f 實時檢視
a1.sources.r1.type = exec
#要執行的指令碼command tail -f 預設10行 man tail 檢視幫助
a1.sources.r1.command = tail -f /tmp/root/hive.log
#執行這個command使用的是哪個指令碼 -c 指定使用什麼命令
#whereis bash
#bash: /usr/bin/bash /usr/share/man/man1/bash.1.gz
a1.sources.r1.shell = /usr/bin/bash -c
#describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hd09-01:9000/flume/%y%m%d/%h
#上傳檔案的字首
a1.sinks.k1.hdfs.fileprefix = logs-
#是否按照時間滾動資料夾
a1.sinks.k1.hdfs.round = true
#多少時間單位建立乙個新的資料夾 秒 （預設30s）
a1.sinks.k1.hdfs.roundvalue = 1
#重新定義時間單位（每小時滾動乙個資料夾）
a1.sinks.k1.hdfs.roundunit = minute
#是否使用本地時間戳
a1.sinks.k1.hdfs.uselocaltimestamp = true
#積攢多少個 event 才 flush 到 hdfs 一次
a1.sinks.k1.hdfs.batchsize = 500
#設定檔案型別，可支援壓縮
a1.sinks.k1.hdfs.filetype = datastream
#多久生成乙個新的檔案 秒
a1.sinks.k1.hdfs.rollinterval = 30
#設定每個檔案的滾動大小 位元組（最好128m）
a1.sinks.k1.hdfs.rollsize = 134217700
#檔案的滾動與 event 數量無關
a1.sinks.k1.hdfs.rollcount = 0
#最小冗餘數(備份數 生成滾動功能則生效roll hadoop本身有此功能 無需配置) 1份 不冗餘
a1.sinks.k1.hdfs.minblockreplicas = 1
#use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactioncapacity = 100
#bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
flume配置檔案example
flume配置檔案example agent1表示 名稱 agent1.sources source1 agent1.sinks sink1 agent1.channels channel1 spooling directory是監控指定資料夾中新檔案的變化，一旦新檔案出現，就解析該檔案內容，然後寫...
Flume 的配置檔案
1 在 elk 03 的 bd flume 1.7 conf 目錄下建立 kafka flume hdfs.conf 檔案 hadoop elk 03 conf vim kafka flume hdfs.conf 2 在檔案配置如下內容 元件定義 a1.sources r1 r2 a1.channe...
Flume配置檔案簡單整理
各配置檔案資訊如下 一 flume監控hive日誌資訊並上傳到hdfs name the components on this agent a2.sources r2 a2.sinks k2 a2.channels c2 describe configure the source a2.source...