logstash,elasticsearch,kibana 怎麼進行nginx的日誌分析呢？首先，架構方面，nginx是有日誌檔案的，它的每個請求的狀態等都有日誌檔案進行記錄。其次，需要有個佇列，redis的list結構正好可以作為佇列使用。然後分析使用elasticsearch就可以進行分析和查詢了。
我們需要的是乙個分布式的，日誌收集和分析系統。logstash有agent和indexer兩個角色。對於agent角色，放在單獨的web機器上面，然後這個agent不斷地讀取nginx的日誌檔案，每當它讀到新的日誌資訊以後，就將日誌傳送到網路上的一台redis佇列上。對於佇列上的這些未處理的日誌，有不同的幾台logstash indexer進行接收和分析。分析之後儲存到elasticsearch進行搜尋分析。再由統一的kibana進行日誌web介面的展示。
下面我計畫在一台機器上實現這些角色。
在nginx.conf 中設定日誌格式：logstash
'$request_time $upstream_response_time';在vhost/test.conf中設定access日誌：
access_log /usr/share/nginx/logs/test.access.log logstash;建立logstash agent 配置檔案
vim /usr/local/logstash/etc/logstash_agent.confinput
}output
}
/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash_agent.conf建立 logstash indexer 配置檔案
vim /usr/local/logstash/etc/logstash_indexer.conf}}這份配置是將nginx_access結構化以後塞入elasticsearch中。
對這個配置進行下說明：
好了，現在的結構就完成了，你可以訪問一次test.dev之後就在kibana的控制台看到這個訪問的日誌了。而且還是結構化好的了，非常方便查詢。
使用elk redis搭建nginx日誌分析平台
elk redis 搭建nginx日誌分析平台 logstash,elasticsearch,kibana 怎麼進行nginx的日誌分析呢？首先，架構方面，nginx是有日誌檔案的，它的每個請求的狀態等都有日誌檔案進行記錄。其次，需要有個佇列，redis的list結構正好可以作為佇列使用。然後分析使...
使用elk redis搭建nginx日誌分析平台
logstash,elasticsearch,kibana 怎麼進行nginx的日誌分析呢？首先，架構方面，nginx是有日誌檔案的，它的每個請求的狀態等都有日誌檔案進行記錄。其次，需要有個佇列，redis的list結構正好可以作為佇列使用。然後分析使用elasticsearch就可以進行分析和查詢...
使用elk redis搭建nginx日誌分析平台
logstash,elasticsearch,kibana 怎麼進行nginx的日誌分析呢？首先，架構方面，nginx是有日誌檔案的，它的每個請求的狀態等都有日誌檔案進行記錄。其次，需要有個佇列，redis的list結構正好可以作為佇列使用。然後分析使用elasticsearch就可以進行分析和查詢...