Flume生產環境配置

start-dfs.sh

while true ; do echo $random >> a.log ; sleep 0.01 ; done  //迴圈產生隨機數寫入到a.log中

a1.sources = r1 --source的名字 a1.sinks = k1 --sink的名字 a1.channels = c1 --channel的名字全都可以配置多個，用空格隔開 a1.sources.r1.channels = c1 --配置source將檔案傳到哪個channel，乙個source可以連線多個channel a1.sources.r1.type = taildir --配置source讀取資料的方式 a1.sources.r1.filegroups = g1 --配置要監控的一批資料 a1.sources.r1.filegroups.g1 = /logdata/a.* --使用正則，指定監控的資料格式 a1.sources.r1.headers.g1.x = y --配置source的header，看具體需求指定 a1.sources.r1.fileheader = true --配置檔案的header a1.sources.r1.fileheaderkey = filepath --指定k，v a1.sources.r1.interceptors = i1 --配置***的名字為i1 a1.sources.r1.interceptors.i1.type = timestamp --配置具體的***型別 a1.sources.r1.interceptors.i1.headername = timestamp --配置***中header的name a1.channels.c1.type = memory --配置channel的型別為 memory channel a1.channels.c1.capacity = 1000 --配置channel中event的最大容量為 1000 a1.channels.c1.transactioncapacity = 1000 --配置事務控制中每次讀取或寫出的最大資料容量 a1.sinks.k1.channel = c1 --配置sink從哪個channel獲取evnet，乙個sink只能連線乙個channel a1.sinks.k1.type = hdfs --配置資料寫入到hdfs中 a1.sinks.k1.hdfs.path = hdfs://linux01:9000/flumedata/%y-%m-%d/%h --配置寫入路徑，並且指定資料命名規則 a1.sinks.k1.hdfs.fileprefix = doitedu-log- --指定檔名字首 a1.sinks.k1.hdfs.filesuffix = .log --指定檔名字尾 a1.sinks.k1.hdfs.rollsize = 268435456 --指定資料達到256m寫出一次 a1.sinks.k1.hdfs.rollinterval = 120 --指定120秒寫出一次 a1.sinks.k1.hdfs.rollcount = 0 --指定為0使得該引數失效 a1.sinks.k1.hdfs.batchsize = 1000 --指定每批資料寫出大小 a1.sinks.k1.hdfs.filetype = compressedstream --指定寫出的檔案型別 a1.sinks.k1.hdfs.uselocaltimestamp = false --不使用本機的時間戳

注意：

#移動到flume安裝目錄下 bin/flume-ng agent -c ./conf -f ./agentconf/taildir-m-hdfs.conf -n a1

引數解讀：

為了方便測試集群是否能正常啟動，並且有錯誤時可得到錯誤日誌資訊，可新增-d引數，變為如下形式

產生了對應小時的資料夾，並且其中存在採集的資料

Flume生產環境配置

Flume 生產配置

Flume 配置環境變數

Nginx生產環境配置

Flume生產環境配置

Flume 生產配置

Flume 配置環境變數

Nginx生產環境配置

相關推薦