目的：將 nginx 伺服器的 access.log日誌收集到 kafka 指定 topic
步驟：1、kafka操作
1、建立 topic
//一般分割槽數對應節點核數kafka-topics.sh --zookeeper s102:2181 --partitions 4 --replication-factor 3 --create --topic logs
2、檢視 topic 列表
kafka-topics.sh --zookeeper s102:2181 --list
3、啟動消費者
kafka-console-consumer.sh --zookeeper s102:2181 --topic logs
注意：kafka集群：s102-s104，使用root啟動
2、flume操作
1、配置flume：nginx伺服器在s102，s103上，因此需要在兩個節點配置flume收集程序
a1.sources =r1a1.channels =c1
a1.sinks =k1
a1.sources.r1.type =exec
a1.sources.r1.command = tail -f /logs/access.log
a1.channels.c1.type =memory
a1.channels.c1.capacity = 10000
a1.sinks.k1.type =org.apache.flume.sink.kafka.kafkasink
a1.sinks.k1.kafka.topic = logs
a1.sinks.k1.kafka.bootstrap.servers = s102:9092
a1.sinks.k1.kafka.flumebatchsize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 0
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
2、啟動flume：分別在s102，s103開啟
flume-ng agent -f /home/centos/log_flume_kafka.txt -n a1
scp log_flume_kafka.txt root@s103:/home/centos/
3、開啟測試
1、建立 topic，啟動kafka消費者
2、啟動flume
3、開啟反向**，啟動nginx伺服器
4、啟動單機 redis 程序
5、生成日誌
6、觀察消費者消費情況
Fluentd收集Docker日誌（1）
1.配置docker全域性變數 1 vi etc docker daemon.json log driver fluentd log opts 2 檢查 etc sysconfig docker中配置的log server 是否已經配置 2.部署fluentd 注意配置檔案 和 log存放路徑 需要...
日誌收集並傳送指定郵箱（二）
這裡面的核心思想 通過intent 來啟動 外部郵箱，並設定好檔案附件，具體核心 如下 intent email new intent android.content.intent.action send 使用android.content.intent.action send來啟動外部郵箱 ema...
使用flume進行日誌收集的總結 1
由於最近幾個月在搞乙個實時監控平台的專案，用的是flume kafka spark，之前領導說弄個文件總結一下專案開發中的用到技術以及容易出錯的地方，以供之後的新手們參考 其實我也才接觸了幾個月而已 現在才有時間弄文件，順便也發個部落格記錄一下 篇 畢竟當初我也是不斷在網上查資料的 由於網上對於fl...