是乙個管理日誌和事件的工具。
安裝部署
使用-f引數替換命令列中的-e引數bin/logstash -f logstash-******.conf
bin/logstash -f logstash-******.conf --auto-reload
path=> "/data/mysql/mysql.log"
path=> [ "/var/log/messages", "/var/log/*.log" ]
start_position:指定從什麼位置開始讀取檔案資料,預設是結束位置,也可以指定為從頭開始。
注意:start_position僅在該檔案從未被監聽過的時候起作用,因為logstash在讀取檔案的時候會記錄乙個.sincedb檔案來跟蹤檔案的讀取位置,當檔案被讀取過一次之後,下次就會從.sincedb中記錄的位置讀取,start_position引數就無效了。檔案預設在使用者目錄下。
注意乙個坑:ignore_older屬性,表示忽略老的資料,值預設為86400,表示忽略24小時以前的資料。如果你新監控乙個24小時以上沒有被修改過的老檔案的話,就算把start_position設定為beginning,也無法獲取之前的資料,預設是根據最後更新的時間
redis
elasticsearch hosts=>"192.168.1.100" hosts=>["192.168.1.100:9200","192.168.1.101"] 1.x中屬性名稱叫host 預設向es中建立的索引庫是logstash-%,可以利用es中的索引模板特性定義索引庫的一些基礎配置
threads=>10 啟動十個執行緒接收
workers=>10 啟動十個執行緒接收
更改filebeat 配置檔案
開啟output.logstash:注釋
hosts: ["bigdata-sg-a-02:5044"]
啟動logstashbin/logstash -e 'input } output }'
指定監控5044埠 輸出到控制台以json格式
成功收到日誌.
output "}}
if [type] == "nginx_access" "}}
if [type] == "nginx_error" "}}
}
type是根據filebeat 標示收集不同日誌自己的fla ELK安裝 Logstash部署報錯及解決方式
啟動logstash服務後 使用命令ps,檢視程序 使用netstat ntpl命令檢視埠 問題1 啟動服務後,有程序但是沒有埠 解決方法 1 首先檢視日誌內容 root elk 2 cat var log logstash logstash plain.log grep que 2 通過日誌確定是...
ELK之Logstash配置檔案詳解
logstash 是乙個開源的資料收集引擎,它具有備實時資料傳輸能力。它可以統一過濾來自不同源的資料,並按照開發者的制定的規範輸出到目的地。它以外掛程式的形式來組織功能,通過配置檔案來描述需要外掛程式做什麼,配置檔案主要由input filter和output三部分組成。負責從資料來源提取資料,由於...
elk 日誌分析 logstash配置
elk 由 elasticsearch logstash 和 kiabana 三個開源工具組成。官方 elasticsearch 是個開源分布式搜尋引擎,它的特點有 分布式,零配置,自動發現,索引自動分片,索引副本機制,restful 風格介面,多資料來源,自動搜尋負載等。logstash 是乙個完...