Flume 八 本地資料傳至kafka

[root@caicai bin]# ./zkserver.sh start

[root@cai bin]# ./kafka-server-start.sh ../config/server.properties

[root@cai bin]# ./kafka-topics.sh --create --topic users --zookeeper 192.168.101.130:2181 --partitions 1 --replication-factor 1

created topic "mydemo".

# 待監測的目錄：

/opt/flumelog/users1
# 監測點目錄：
/opt/flumelog/checkpoint/users1
# 輸出目錄：
/opt/flumelog/data/users1

[root@cai job2]# vi users-flume-kafka.conf 

[root@cai job2]# pwd
/opt/bigdata/flume/conf/job2

users.sources = userssource

users.channels = userschannel
users.sinks = userssink
users.sources.userssource.type = spooldir
users.sources.userssource.spooldir = /opt/flumelog/users1
users.sources.userssource.includepattern = users_[0-9]-[0-9]-[0-9].csv
users.sources.userssource.deserializer = line
users.sources.userssource.deserializer.maxlinelength = 160000
users.sources.userssource.interceptors = head_filter
users.sources.userssource.interceptors.head_filter.type = regex_filter
users.sources.userssource.interceptors.head_filter.regex = ^user_id*
users.sources.userssource.interceptors.head_filter.excludeevents = true
users.channels.userschannel.type = file
users.channels.userschannel.checkpointdir = /opt/flumelog/checkpoint/users1
users.channels.userschannel.datadirs = /opt/flumelog/data/users1
users.sinks.userssink.type = org.apache.flume.sink.kafka.kafkasink
users.sinks.userssink.hdfs.batchsize = 640
users.sinks.userssink.brokerlist = 192.168.101.130:9092
users.sinks.userssink.topic = users
users.sources.userssource.channels = userschannel
users.sinks.userssink.channel = userschannel

./bin/flume-ng agent -c conf/ -f conf/job2/users-flume-kafka.conf -n users -dflume.root.logger=info,console

kafka-console-consumer.sh --bootstrap-server 192.168.101.130:9092 --topic users --from-beginning

wc -l users.csv

[root@cai events]# cp users.csv  /opt/flumelog/users1/users_2020-05-26.csv

[root@cai events]# pwd
/opt/bigdata/flume/conf/events

微信小程式開發（八）本地資料快取

將資料儲存在本地快取 wx.setstorage 讀取本地快取 wx.getstorage 以手機號 密碼登入為例，把登入成功返回的token值儲存在本地快取中，然後讀取快取中的token login.php header content type text html charset utf 8 a...

HTML5 本地資料庫

html5大大豐富了客戶端本地可以儲存的內容，新增了很多功能將原本必須要儲存在伺服器上的資料轉為儲存在客戶端本地，從而大大提高了web應用程式效能，減輕了伺服器的負擔，使用web時代重新回到了 客戶端為重 伺服器端為輕 的時代。在html5中，可以像訪問本地檔案那樣輕鬆地對內建資料庫進行直接訪問。h...

vue cli3 本地資料模擬後台介面

vue cli3 本地資料模擬後台介面 原理 將本地的json資料在前端模擬為後台介面，然後呼叫介面，完成前端操作。在後台接通後可以直接在api配置檔案中修改路徑，完成前後臺對接。配置 1.檔案目錄 2.安裝express npm i express3.配置vue.config.js 3.1配置ex...