技術選型需求:
配置檔案:netcat-memory-loggerandhdfs.conf:
a1.sources = r1
a1.channels = c1
a1.sinks=k1 k2
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.137.252
a1.sources.r1.port = 6666
a1.channels.c1.type = memory
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://ruozehadoop000:9000/data/flume/page_views/%y%m%d%h%m
a1.sinks.k1.hdfs.fileprefix = page-views
a1.sinks.k1.hdfs.filetype=datastream
a1.sinks.k1.hdfs.writeformat=text
a1.sinks.k1.hdfs.batchsize=10
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundvalue = 1
a1.sinks.k1.hdfs.roundunit = minute
a1.sinks.k1.hdfs.uselocaltimestamp=true
a1.sinks.k2.type = logger
//可設定sink選擇器,提高資料安全性
#a1.sinkgroups = g1
#a1.sinkgroups.g1.sinks = k1 k2
#a1.sinkgroups.g1.processor.type = failover
#a1.sinkgroups.g1.processor.priority.k1 = 5
#a1.sinkgroups.g1.processor.priority.k2 = 10
#a1.sinkgroups.g1.processor.maxpenalty = 10000
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1
a1.sources.r1.channels = c1
啟動命令:
部分操作結果:
ncandexec-file-logger:
配置檔案:ncandexec-file-logger.conf
a1.sources = r1 r2
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.137.252
a1.sources.r1.port = 6666
a1.sources.r2.type = exec
a1.sources.r2.command = tail -f /home/hadoop/data/data1.log
a1.channels.c1.type = file
a1.channels.c1.checkpointdir = /home/hadoop/data/flume/checkpoint
a1.channels.c1.datadirs = /home/hadoop/data/flume/data
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1
a1.sources.r2.channels = c1
a1.sources.r1.channels = c1
啟動命令:
部分操作結果:
問題補充:為什麼要對flume日誌收集系統進行分層設計
答案:
作業8 佇列及其應用
2 1 為解決計算機主機與印表機之間速度不匹配問題,通常設定乙個列印資料緩衝區,主機將要輸出的資料依次寫入該緩衝區,而印表機則依次從該緩衝區中取出資料。該緩衝區的邏輯結構應該是?1分 堆疊佇列樹 圖 2 2若已知一佇列用單向鍊錶表示,該單向鍊錶的當前狀態 含3個物件 是 1 2 3,其中x y表示x...
第8周作業作業
1 對稱加密過程由那三部分組成 加密 傳送方將資訊通過對稱金鑰加密形成密文 傳輸 傳送方通過網路把密文傳出 解密 接收者將資訊用對稱金鑰進行解密形成明文 2 使用 openssl 中的 aes 對稱加密演算法對檔案 file.txt 進行加密,然後解密 openssl enc aes 128 cbc...
作業8總結
一 知識點 1.一維陣列的定義和使用 1 定義方式 型別名 陣列名 整型常量表示式 例 int a 10 2 說明 陣列名的命名規則和變數名相同,遵循識別符號命名規則 陣列名後的常量表示式用 括起來。常量表示式表示元素的個數,即陣列長度。例 a 10 表示陣列a中包括10個元素,分別為 a 0 a ...