logstash實戰之apacheLogs和csv

2021-08-21 03:15:25 字數 1446 閱讀 8413

時間處理:

"@timestamp" => 2018-06-29t03:18:12.532z        logstash寫入日誌的時間

"timestamp" => "17/may/2015:10:05:47 +0000" apache日誌時間

需求:將timestamp賦值給@timestamp字段,但保留日誌寫入時間

解決辦法:

(1)使用mutate外掛程式:

mutate 

}

(2)使用ruby外掛程式:

ruby
filter "}

}ruby

date

mutate

}

(3)使用@metadata,其內容不會輸出到output中

完整配置:

logstash實戰input外掛程式syslog

vim etc logstash conf.d syslog.conf input output 啟動 opt logstash bin logstash f etc logstash conf.d syslog.conf 在開乙個視窗可以看到514埠啟動了 在另外一台伺服器編輯 代表所有日誌 接i...

Logstash詳解之 filter模組

logstash三個元件的第二個元件,也是真個logstash工具中最複雜,最蛋疼的乙個元件,當然,也是最有作用的乙個元件。1 grok外掛程式 grok外掛程式有非常強大的功能,他能匹配一切資料,但是他的效能和對資源的損耗同樣讓人詬病。filter 2 mutate外掛程式 mutate外掛程式是...

Logstash詳解之 output模組

logstash的output模組,相比於input模組來說是乙個輸出模組,output模組整合了大量的輸出外掛程式,可以輸出到指定檔案,也可輸出到指定的網路埠,當然也可以輸出資料到es.在這裡我只介紹如何輸出到es,至於如何輸出到埠和指定檔案,有很多的文件資料可查詢.elasticsearch d...