flume的安裝非常簡單，只需要解壓即可，當然，前提是已有hadoop環境
上傳安裝包到資料來源所在節點上
然後解壓 tar -zxvfapache-flume-1.6.0-bin.tar.gz
先用乙個最簡單的例子來測試一下程式環境是否正常
1、先在flume的conf目錄下新建乙個檔案
vi netcat-logger.conf
# 定義這個agent中各元件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述和配置source元件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 描述和配置sink元件：k1
a1.sinks.k1.type = logger
# 描述和配置channel元件，此處使用是記憶體快取的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactioncapacity = 100
# 描述和配置source channel sink之間的連線關係
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
2、啟動agent去採集資料
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -dflume.root.logger=info,console
-c conf 指定flume自身的配置檔案所在目錄
-f conf/netcat-logger.con 指定我們所描述的採集方案
-n a1 指定我們這個agent的名字
1、測試
先要往agent採集監聽的埠上傳送資料，讓agent有資料可採
隨便在乙個能跟agent節點聯網的機器上
------------spooldir 件事文監視資料夾
啟動命令：
bin/flume-ng agent -c ./conf -f ./conf/spool-logger.conf -n a1 -dflume.root.logger=info,console
測試： 往/home/hadoop/flumespool放檔案（mv ././***file /home/hadoop/flumespool），但是不要在裡面生成檔案
##############
# name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# describe/configure the source
#監聽目錄,spooldir指定目錄, fileheader要不要給資料夾前墜名
a1.sources.r1.type = spooldir
a1.sources.r1.spooldir = /home/hadoop/flumespool
a1.sources.r1.fileheader = true
# describe the sink
a1.sinks.k1.type = logger
# use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactioncapacity = 100
# bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
Flume的安裝與部署
軟體環境 作業系統 ubuntu server 18.04 jdk 1.8.0 先登入root賬號再進行以下操作 1.安裝jdk cd home 3.解壓安裝包 tar xvf apache flume 1.9.0 bin.tar.gz 4.改名 mv apache flume 1.9.0 bin ...
大資料 八 Flume部署
如果說大資料中分布式收集日誌用的是什麼，你完全可以回答flume！面試小心問到哦 首先說乙個複製本伺服器檔案到目標伺服器上，需要目標伺服器的ip和密碼 命令 scp filename ip 目標路徑 一 概述 flume是cloudera提供的乙個高可用的，高可靠的，分布式的海量日誌採集 聚合和傳輸...
Flume 安裝教程
前言 flume 依賴於 j a 環境，安裝 flume 之前需要先安裝 jdk 1.上傳並解壓 flume 安裝檔案 將 apache flume 1.9.0 bin.tar.gz 安裝包上傳到 node 01 的 root 目錄下，並將其解壓 root node 01 rm rf apache ...