在/opt下面建立 flume 要監測的目錄 /opt/flumelog/events
[root@cai flumelog]# mkdir events[root@cai flumelog]# mkdir checkpoint
[root@cai checkpoint]# mkdir events
[root@cai flumelog]# mkdir data
[root@cai flumelog]# cd data/
[root@cai data]# mkdir events
[root@cai data]# pwd
/opt/flumelog/data
建立配置檔案 /events-flume-logger.conf
[root@cai job]# touch ./events-flume-logger.conf
[root@cai job]# ls
events-flume-logger.conf netcat-flume-logger.conf
離開此shell 頁面，去往新 shell 拷貝要監測的檔案到待監測目錄
在此 /opt/bigdata/flume/conf/events 路徑中建立目錄，將要用的檔案拉進來
[root@cai conf]# mkdir events
[root@cai conf]# cd events/
[root@cai events]# pwd
/opt/bigdata/flume/conf/events
[root@cai events]# pwd
/opt/bigdata/flume/conf/events
[root@cai events]# cp ./events.csv /opt/flumelog/events/events_2020-05-20.csv
拷貝以後，去往剛剛執行啟動**的 shell 頁面，看到正在讀資料即成功
Flume學習筆記（三）Flume 內部機制
本篇是 flume 學習筆記的第三篇，主要整理 flume 的事務機制以及 event 如何在 agent 中流轉的整個過程。為了保證資料的不丟失，flume 框架在 agent 程序中加入了倆個事物機制，分布為 source channel 和 channel sink，示意圖如下 take 事務...
Flume使用案例三
實時讀取目錄檔案到hdfs 使用flume監聽整個目錄的檔案 1 建立job的job flume2.conf檔案 a3.sources r3 a3.sinks k3 a3.channels c3 describe configure the source a3.sources.r3.type spo...
本地檔案到通過flume到kafka
配置檔案 agent1 name agent1.sources source1 agent1.sinks sink1 agent1.channels channel1 建立linux目錄建立kakfa的topicname 啟動flume的配置檔案 flume ng agent n agent1 c ...