編寫配置檔案
# 配置agent a1的元件
a1.sources=source1
a1.channels=channel1
a1.sinks=sink1
# 描述/配置a1的source1
a1.sources.source1.type=exec
#具體執行的命令
# 描述/配置a1的channel1
a1.channels.channel1.type=memory
# 描述/配置a1的sink1
a1.sinks.sink1.type=logger
# 繫結
a1.sources.source1.channels=channel1
a1.sinks.sink1.channel=channel1
./bin/flume-ng agent -n a1 -c ./conf/ -f ./job/exec.template.conf -dflume.root.info,console
Flume之 File型別的Channel
允許所有的資料儲存在硬碟中。好處 資料永遠不丟失。壞處 因為使用磁碟的儲存方式會頻繁的發生磁碟i o，所以會極大的降低flume的吞吐量。配置項說明 type file datadirs 資料存放的目錄，可以使用多個，多目錄之間使用逗號分割即可。1.在job 檔案下建立新檔案file.templat...
Flink 流處理之source簡介
1 從集合讀取資料 定義樣例類 水位感測器 用於接收空高資料 id 感測器編號 ts 時間戳 vc 空高 case class watersensor id string,ts long,vc double object source collection 2 從檔案讀取資料 val env str...
Linux學習筆記之source命令
source命令 source命令也稱為 點命令 也就是乙個點符號 是bash的內部命令。功能 使shell讀入指定的shell程式檔案並依次執行檔案中的所有語句 source命令通常用於重新執行剛修改的初始化檔案，使之立即生效，而不必登出並重新登入。用法 source filename 或 fil...