作業8 Flume應用

2021-08-22 03:32:15 字數 2935 閱讀 5900

技術選型需求:

配置檔案:netcat-memory-loggerandhdfs.conf:

a1.sources = r1

a1.channels = c1

a1.sinks=k1 k2

a1.sources.r1.type = netcat

a1.sources.r1.bind = 192.168.137.252

a1.sources.r1.port = 6666

a1.channels.c1.type = memory

a1.sinks.k1.type = hdfs

a1.sinks.k1.hdfs.path = hdfs://ruozehadoop000:9000/data/flume/page_views/%y%m%d%h%m

a1.sinks.k1.hdfs.fileprefix = page-views

a1.sinks.k1.hdfs.filetype=datastream

a1.sinks.k1.hdfs.writeformat=text

a1.sinks.k1.hdfs.batchsize=10

a1.sinks.k1.hdfs.round = true

a1.sinks.k1.hdfs.roundvalue = 1

a1.sinks.k1.hdfs.roundunit = minute

a1.sinks.k1.hdfs.uselocaltimestamp=true

a1.sinks.k2.type = logger

//可設定sink選擇器,提高資料安全性

#a1.sinkgroups = g1

#a1.sinkgroups.g1.sinks = k1 k2

#a1.sinkgroups.g1.processor.type = failover

#a1.sinkgroups.g1.processor.priority.k1 = 5

#a1.sinkgroups.g1.processor.priority.k2 = 10

#a1.sinkgroups.g1.processor.maxpenalty = 10000

a1.sinks.k1.channel = c1

a1.sinks.k2.channel = c1

a1.sources.r1.channels = c1

啟動命令:

部分操作結果:

ncandexec-file-logger:

配置檔案:ncandexec-file-logger.conf

a1.sources = r1 r2

a1.channels = c1

a1.sinks = k1

a1.sources.r1.type = netcat

a1.sources.r1.bind = 192.168.137.252

a1.sources.r1.port = 6666

a1.sources.r2.type = exec

a1.sources.r2.command = tail -f /home/hadoop/data/data1.log

a1.channels.c1.type = file

a1.channels.c1.checkpointdir = /home/hadoop/data/flume/checkpoint

a1.channels.c1.datadirs = /home/hadoop/data/flume/data

a1.sinks.k1.type = logger

a1.sinks.k1.channel = c1

a1.sources.r2.channels = c1

a1.sources.r1.channels = c1

啟動命令:

部分操作結果:

問題補充:為什麼要對flume日誌收集系統進行分層設計

答案:

作業8 佇列及其應用

2 1 為解決計算機主機與印表機之間速度不匹配問題,通常設定乙個列印資料緩衝區,主機將要輸出的資料依次寫入該緩衝區,而印表機則依次從該緩衝區中取出資料。該緩衝區的邏輯結構應該是?1分 堆疊佇列樹 圖 2 2若已知一佇列用單向鍊錶表示,該單向鍊錶的當前狀態 含3個物件 是 1 2 3,其中x y表示x...

第8周作業作業

1 對稱加密過程由那三部分組成 加密 傳送方將資訊通過對稱金鑰加密形成密文 傳輸 傳送方通過網路把密文傳出 解密 接收者將資訊用對稱金鑰進行解密形成明文 2 使用 openssl 中的 aes 對稱加密演算法對檔案 file.txt 進行加密,然後解密 openssl enc aes 128 cbc...

作業8總結

一 知識點 1.一維陣列的定義和使用 1 定義方式 型別名 陣列名 整型常量表示式 例 int a 10 2 說明 陣列名的命名規則和變數名相同,遵循識別符號命名規則 陣列名後的常量表示式用 括起來。常量表示式表示元素的個數,即陣列長度。例 a 10 表示陣列a中包括10個元素,分別為 a 0 a ...