配置檔案
#agent1 name
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1
啟動flume的配置檔案
flume-ng agent -n agent1 -c conf -f ./flume-dirkakfa.properties -dflume.root.logger=debug,console >./flume1.log 2>&1 &
建立資料測試
啟動kafka消費者，分別在hadoop11和hadoop12
備註
本地檔案到通過flume到hdfs
配置檔案 agent1 name agent1.sources source1 agent1.sinks sink1 agent1.channels channel1 建立linux目錄建立hadoop目錄啟動配置檔案 檢視啟動程序 建立資料測試 檢視hdfs資料測試路徑沒有資料 將測試資料放入監控...
檔案通過flume匯入到kafka
a1 agent flume三大元件 source channel sink a1.sources f1 a1.channels c1 a1.sinks k1 檔案 a1.sources.f1.type spooldir a1.sources.f1.channels c1 將users.csv檔案備...
Flume採集檔案到HDFS
在flume和hadoop安裝好的情況下 1.遇到的坑 在安裝hadoop時，配置 core site.xml 檔案一定要注意。fs.defaultfs name hdfs master 9000 value property 上述的value值使用的是主機名稱 master 或者ip位址，不能使用...