基於Centos7 6安裝Filebeat7 3

該篇為efk日誌系統搭建的姊妹篇，第一篇為基於centos7.6安裝elasticsearch7.3,主要就是記錄一下filebeat的安裝配置以及抓取日誌落地到elasticsearch.

$ tar -xvf filebeat-7.3.1-linux-x86_64.tar.gz

# filebeat-7.3.1/filebeat -e

進入filebeat-7.3.1安裝目錄，可以看見其配置檔案filebeat.yml。

input 配置，告訴crawler抓取哪些檔案變化，為了抓取的資料便於後面視覺化分析，這裡配置為json資料，在應用日誌輸出格式定義一下即可。

#*************************== filebeat inputs *************************====
filebeat.inputs:
- type: log
enabled: true
paths:
json.keys_under_root: true
json.overwrite_keys: true

為beat配置輸出環境，預設為elasticsearch,是當前elastic官方推薦的預設輸出。

#******************************== outputs ***********************************== # 解決index pattern不生效 setup.ilm.enabled: false setup.template: name: "log" # pattern與output的index保持一致 pattern: "log-access-*" settings: # 本地日誌不需要多副本和分片，節省一點es的資源 index.number_of_shards: 1 index.number_of_replicas: 0 #-------------------------- elasticsearch output ------------------------------ # es 位址及索引 output.elasticsearch: hosts: ["10.231.xx.***:8200"] # 自定義索引,需要配置上面的模板 index: "log-access-%-%" # 許可權認證配置

終端鍵入:

$ ./filebeat -e -c filebeat.yml ...2019-09-15t15:41:42.205+0800 info instance/beat.go:292 setup beat: filebeat; version: 7.3.1 2019-09-15t15:41:42.205+0800 info elasticsearch/client.go:170 elasticsearch url: 2019-09-15t15:41:42.206+0800 info [monitoring] log/log.go:118 starting metrics logging every 30s 2019-09-15t15:41:42.206+0800 info instance/beat.go:421 filebeat start running. 2019-09-15t15:41:42.207+0800 info registrar/registrar.go:152 states loaded from registrar: 1 2019-09-15t15:41:42.207+0800 info crawler/crawler.go:72 loading inputs: 1 2019-09-15t15:41:42.207+0800 info input/input.go:114 starting input of type: log; id: 16861026505510540300 2019-09-15t15:41:42.207+0800 info crawler/crawler.go:106 loading and starting inputs completed. enabled inputs: 1 2019-09-15t15:41:42.207+0800 info cfgfile/reload.go:171 config reloader started 2019-09-15t15:41:42.208+0800 info cfgfile/reload.go:226 loading of config files completed. 2019-09-15t15:41:45.200+0800 info add_cloud_metadata/add_cloud_metadata.go:347 add_cloud_metadata: hosting provider type not detected. 2019-09-15t15:41:46.201+0800 info pipeline/output.go:95 connecting to backoff(elasticsearch()) 2019-09-15t15:41:46.208+0800 info elasticsearch/client.go:743 attempting to connect to elasticsearch version 7.3.1 2019-09-15t15:41:46.239+0800 info template/load.go:88 template log already exists and will not be overwritten. 2019-09-15t15:41:46.239+0800 info [index-management] idxmgmt/std.go:289 loaded index template. 2019-09-15t15:41:46.242+0800 info pipeline/output.go:105 connection to backoff(elasticsearch()) established

由於還沒安裝kibana,所以暫時通過elasticsearch-head進行檢視，開啟視覺化頁面看到以log-開頭的相關index,如圖:

如需切到後台執行:

$ nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &

選擇filebeat而非logstash的原因,有以下兩點:

後面應該還會進行一次業務技術公升級，使用訊息佇列kafka作為連線filebeat和es的中間層，因為隨著qps的增大，es可能被壓垮，需要通過kafka來削峰填谷。

filebeat7.3官方文件

filebeat7.3配置文件

基於Centos7 6安裝Filebeat7 3

CentOS 7 6編譯安裝LNMP

centos7 6離線安裝gcc，gcc c

centos 7 6 安裝 dcoker教程

基於Centos7 6安裝Filebeat7 3

CentOS 7 6編譯安裝LNMP

centos7 6離線安裝gcc，gcc c

centos 7 6 安裝 dcoker教程

相關推薦