elk部署詳解 logstash搭建

2021-08-21 19:59:13 字數 1555 閱讀 9368

是乙個管理日誌和事件的工具。

安裝部署

使用-f引數替換命令列中的-e引數bin/logstash -f logstash-******.conf

bin/logstash -f logstash-******.conf --auto-reload

path=> "/data/mysql/mysql.log"

path=>  [ "/var/log/messages", "/var/log/*.log" ]

start_position:指定從什麼位置開始讀取檔案資料,預設是結束位置,也可以指定為從頭開始。

注意:start_position僅在該檔案從未被監聽過的時候起作用,因為logstash在讀取檔案的時候會記錄乙個.sincedb檔案來跟蹤檔案的讀取位置,當檔案被讀取過一次之後,下次就會從.sincedb中記錄的位置讀取,start_position引數就無效了。檔案預設在使用者目錄下。

注意乙個坑:ignore_older屬性,表示忽略老的資料,值預設為86400,表示忽略24小時以前的資料。如果你新監控乙個24小時以上沒有被修改過的老檔案的話,就算把start_position設定為beginning,也無法獲取之前的資料,預設是根據最後更新的時間

redis

elasticsearch hosts=>"192.168.1.100" hosts=>["192.168.1.100:9200","192.168.1.101"] 1.x中屬性名稱叫host 預設向es中建立的索引庫是logstash-%,可以利用es中的索引模板特性定義索引庫的一些基礎配置

threads=>10 啟動十個執行緒接收

workers=>10 啟動十個執行緒接收

更改filebeat 配置檔案

開啟output.logstash:注釋

hosts: ["bigdata-sg-a-02:5044"]

啟動logstashbin/logstash -e 'input } output }'

指定監控5044埠 輸出到控制台以json格式

成功收到日誌.

output "}}

if [type] == "nginx_access" "}}

if [type] == "nginx_error" "}}

}

type是根據filebeat 標示收集不同日誌自己的fla

ELK安裝 Logstash部署報錯及解決方式

啟動logstash服務後 使用命令ps,檢視程序 使用netstat ntpl命令檢視埠 問題1 啟動服務後,有程序但是沒有埠 解決方法 1 首先檢視日誌內容 root elk 2 cat var log logstash logstash plain.log grep que 2 通過日誌確定是...

ELK之Logstash配置檔案詳解

logstash 是乙個開源的資料收集引擎,它具有備實時資料傳輸能力。它可以統一過濾來自不同源的資料,並按照開發者的制定的規範輸出到目的地。它以外掛程式的形式來組織功能,通過配置檔案來描述需要外掛程式做什麼,配置檔案主要由input filter和output三部分組成。負責從資料來源提取資料,由於...

elk 日誌分析 logstash配置

elk 由 elasticsearch logstash 和 kiabana 三個開源工具組成。官方 elasticsearch 是個開源分布式搜尋引擎,它的特點有 分布式,零配置,自動發現,索引自動分片,索引副本機制,restful 風格介面,多資料來源,自動搜尋負載等。logstash 是乙個完...