最基本的flume配置

a4.sources = r1

a4.channels = c1

a4.sinks = k1

a4.sources.r1.type = spooldir

a4.sources.r1.spooldir = /root/training/logs

a4.channels.c1.type = memory

a4.channels.c1.capacity = 10000

a4.channels.c1.transactioncapacity = 100

定義***，為訊息新增時間戳 (為下面的自動匹配而配置)

a4.sources.r1.interceptors = i1

a4.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.timestampinterceptor$builder

a4.sinks.k1.type = hdfs

a4.sinks.k1.hdfs.path = hdfs:

a4.sinks.k1.hdfs.fileprefix = events-

a4.sinks.k1.hdfs.filetype = datastream

a4.sinks.k1.hdfs.rollcount = 0

hdfs上的檔案達到128m時生成乙個檔案

a4.sinks.k1.hdfs.rollsize = 134217728

hdfs上的檔案達到60秒生成乙個檔案

a4.sinks.k1.hdfs.rollinterval = 60

a4.sources.r1.channels = c1

a4.sinks.k1.channel = c1

HDFS最基本的操作命令 和基本配置

1.hdfs集群修改secondarynamenode位置到hd09 2 1 修改hdfs site.xml 配置元資料儲存位置 dfs.namenode.name.dir root hd dfs name 配置資料儲存位置 2 分發hdfs site.xml到其他伺服器 cd root hd ha...

debian下samba的最基本的配置

由於學習需要，需要在debian上實現samba來實現windows和linux的共享，把安裝配置過程記錄下來，以方便日後配置。本文不是系統的介紹samba的配置過程，只是能夠實現最基本的共享。在debian下使用apt get install samba安裝好samba後，在windows下對映網...

Flume之agent基本配置使用

這裡的agent名稱定義為agent，其他名稱同理 agent.sources r1 agent.channels c1 agent.sinks k1 sources 定義資源型別為nc，繫結主機為localhost，暴露埠為9999 agent.sources.r1.type netcat age...