logstash外掛程式
常用的流行外掛程式:
input 外掛程式
filters 外掛程式
output 外掛程式
input 外掛程式
流行的logstash輸入外掛程式
file:檔案流
檔案輸入外掛程式從輸入的內容中流事件,每個事件都被假定為單行。它會自動檢測到旋轉的旋轉並處理它。它保留了讀取的位置,如果正確的話,將自動檢測新資料。它以類似的方式閱讀:
tail -0f
格式:
input
}
tags:
標籤表示任意數量的字串作為乙個陣列,這些字串可以稍後用於根據分配給它們的標籤過濾和處理事件。
type:
型別欄位可用於標記特定型別的事件,這有助於稍後過濾和搜尋它們。型別被新增到儲存在elasticsearch的文件中,以後可以在kibana中檢視型別字段。例如,我們可以將型別指定為「error_logs」或「info_logs」。
redis:redis例項流
stdin:標準事件流
syslog:網路syslog訊息流
ganglia:網路通過udp傳送的ganglia資料報
lumberjack:通過lumberjack協議接收事件
eventlog:windows事件日誌
s3:s3 bucket檔案事件流
elasticsearch:elasticsearch集群查詢的結果集
過濾外掛程式
流行的logstash過濾外掛程式
csv:解析csv檔案
格式:
filter
}
例如:
filter
}
date:它用於解析來自傳入事件的日期字段,並將其用作logstash時間戳字段,可以稍後用於分析
格式:
filter
}
drop:刪除傳入事件中滿足匹配篩選條件的所有內容
grok:將日誌中非結構化資料或事件解析成結構化
multiline:解析來自單一源的多行資料,作為乙個logstash事件
dns:從指定的任何欄位中解析乙個ip位址
mutate:在事件中重新命名、刪除、修改和替換字段
格式:
filter
}
geoip:檢索到的ip位址新增地理資訊
輸出外掛程式
流行的logstash輸出外掛程式
file:輸出到檔案
e-mail:收到輸出時,它會根據某些條件傳送電子郵件
elasticsearch:輸出到elasticsearch集群,這是logstash最常見和最推薦的輸出
格式:
output
}
stdout:標準輸出流
redis:事件寫入redis佇列,並用作許多elk實現的**
mongodb:輸出到mongodb
kafka:輸出到kafka topic
logstash常用外掛程式介紹
在 使用efk快速搭建安全可靠的日誌服務 一文中,我們已經大致介紹了分布式日誌服務的各個元件。但是對於很多實現細節,並未涵蓋到。本文主要介紹logstash用到的外掛程式,以及對外掛程式的離線打包,避免每次手動安裝外掛程式。本文主要分為4部分 外掛程式的離線打包 input外掛程式 filter外掛...
logstash常用外掛程式介紹
在 使用efk快速搭建安全可靠的日誌服務 一文中,我們已經大致介紹了分布式日誌服務的各個元件。但是對於很多實現細節,並未涵蓋到。本文主要介紹logstash用到的外掛程式,以及對外掛程式的離線打包,避免每次手動安裝外掛程式。本文主要分為4部分 外掛程式的離線打包 input外掛程式 filter外掛...
logstash常用外掛程式介紹
在 使用efk快速搭建安全可靠的日誌服務 一文中,我們已經大致介紹了分布式日誌服務的各個元件。但是對於很多實現細節,並未涵蓋到。本文主要介紹logstash用到的外掛程式,以及對外掛程式的離線打包,避免每次手動安裝外掛程式。本文主要分為4部分 外掛程式的離線打包 input外掛程式 filter外掛...