ELK 企業搭建實戰 3

接上篇elk搭建文章

5、filebeat

隸屬於beats,輕量級資料收集引擎。基於原先 logstash-fowarder 的原始碼改造出來。換句話說：filebeat就是新版的 logstash-fowarder，目前beats包含四種工具：

為什麼用 filebeat ，而不用原來的 logstash 呢？

原因很簡單，資源消耗比較大。**由於 logstash 是跑在 jvm 上面，資源消耗比較大，後來作者用 go 寫了乙個功能較少但是資源消耗也小的輕量級的 agent 叫 logstash-forwarder。**後來作者加入 elastic.co 公司， logstash-forwarder 的開發工作給公司內部 go 團隊來搞，最後命名為 filebeat。

filebeat 需要部署在每台應用伺服器上。

搭建架構

filebeat安裝在要收集日誌的應用伺服器中，filebeat收集到日誌之後傳輸到kafka中，logstash通過kafka拿到日誌，在由logstash傳給後面的es，es將日誌傳給後面的kibana，最後通過kibana展示出來。

wget

（2）解壓

[root@es-3-head-kib ~]# tar xzvf filebeat-6.5.4-linux-x86_64.tar.gz -c /usr/local/
[root@es-3-head-kib ~]# cd /usr/local/
[root@es-3-head-kib local]# mv filebeat-6.5.4-linux-x86_64 filebeat
[root@es-3-head-kib local]# cd filebeat/

（3）修改配置

修改 filebeat 配置，支援收集本地目錄日誌，並輸出日誌到 kafka 集群中

[root@es-3-head-kib filebeat] # mv filebeat.yml filebeat.yml.bak [root@es-3-head-kib filebeat] # vim filebeat.yml filebeat.prospectors: - input_type: log #指定輸入的型別 paths: - /var/log/nginx/*.log #日誌的路徑 json.keys_under_root: true json.add_error_key: true json.message_key: log output.kafka: hosts: [ "192.168.246.234:9092","192.168.246.231:9092","192.168.246.235:9092" ]#kafka伺服器 topic: 'nginx' #輸出到kafka中的topic

filebeat 6.0 之後一些配置引數變動比較大，比如 document_type 就不支援，需要用 fields 來代替等等。

（4）啟動

[root@es-3-head-kib filebeat] # nohup ./filebeat -e -c filebeat.yml & [root@es-3-head-kib filebeat] # tail -f nohup.out 2019-08-04t16:55:54.708+0800 info kafka/log.go:53 kafka message: client/metadata found some partitions to be leaderless 2019-08-04t16:55:54.708+0800 info kafka/log.go:53 client/metadata retrying after 250ms... (2 attempts remaining) ...驗證kafka是否生成topic [root@es-3-head-kib filebeat] # cd /usr/local/kafka_2.11-2.1.0/ [root@es-3-head-kib kafka_2.11-2.1.0] # bin/kafka-topics.sh --zookeeper 192.168.246.231:2181 --list __consumer_offsets nginx #已經生成topic testtopic

現在我們去編輯logstach連線kafka的輸出檔案配置完kafka之後檢視

登入到kibana

ELK 企業搭建實戰 3

企業實戰企業FTP搭建

ELK平台搭建

ELK環境搭建

ELK 企業搭建實戰 3

企業實戰 企業FTP搭建

ELK平台搭建

ELK環境搭建

相關推薦

企業實戰企業FTP搭建