二 elk採集nginx日誌

為了記錄**的訪問詳情，方便記錄和統計ip的訪問次數和請求的url位址，我們採用輕量級的filebeat工具採集nginx日誌，然後把日誌的資料報傳送給logstash，最後kibana用於日誌的展示。

1.配置nginx

1.1 修改nginx日誌輸出為json格式。

}完整的nginx.conf

1.2 修改站點nginx配置檔案，新增下面一行

2.配置filebeat

1.1 安裝featbeat

rpm -ivh  filebeat-*x86_64.rpm

vim /etc/filebeat/filebeat.yml

filebeat.inputs:

-type: log
paths:
- /opt/nginx/logs/web1_access.log
json.keys_under_root: 
true
json.overwrite_keys: 
true
fields:
-input_type: log
paths:
- /opt/nginx/logs/web2.access.log 
json.keys_under_root: 
true
json.overwrite_keys: 
true
fields:
output.logstash:
hosts: [
"1.1.1.1:5055"]
filebeat.yml

重啟featbeat

systemctl restart filebeat.service

input 

port => 5055
}        tcp 
}output 
}if [myid] == "
nginx"}
}

啟動logstash

cd /opt/logstash-6.5.3 &&/usr/bin/nohup ./bin/logstash  -f  ./config/logstash-tanlu.conf>/dev/null 2>&1 &

最終效果

安裝elk，日誌採集系統

elasticsearch安裝 wget 注意es不能在root下執行 vim etc security limits.conf soft nofile 65536 hard nofile 131072 soft nproc 2048 hard nproc 4096 開啟 etc security ...

ELK接受nginx日誌

elk nginx日誌 首先兩台虛擬機器 一台安裝 elasticsearch kibana jdk一台 jdknginx logstash 兩台要求時間同步 ntpdate 開啟同步時間 ntpdate pool.ntp.org 首先在第一台已安裝完的 elasticsearch vim etc ...

elk日誌分析系統（二）

上篇部落格介紹關於elk的原理和搭建 elk日誌分析系統 一 但這種架構只適合資料量不大且可靠性不強的業務使用，當大併發情況下，由於日誌傳輸峰值比較大，沒有訊息佇列來做緩衝，就會導致 elasticsearch 集群丟失數，所以需要對架構做進一步的擴充套件，引入kafka集群。filebeat收集日...