input配置:
file:讀取檔案
input
}start_position:logstash從什麼位置讀取檔案資料,預設是結束的位置,也就是說logstash會以類似tail -f的形式執行。
如果需要匯入原始資料,需要把這個設定為:"beginnning",logstash就從頭開始讀取.
stdin:標準輸入
input
codec => "plain"
tags => ["add"]
type => "std"}}
input
}filter]}}
}output
}else }}
filter配置:
data:時間處理
%這種寫法必須讀取@timestamp資料,所以一定不要直接刪除這個字段保留自己的字段,而是應該用filter/date轉換後刪除自己的字段.
filter "]
}date
}時區偏移量使用z.
output配置:
elasticsearch:
output -%"
document_type => "%"
flush_size => 20000
idle_flush_time => 10
sniffing => true
template_overwrite => true}}
?logstash在有多個conf檔案的情況下,進入es的資料會重複,幾個conf資料就會重複幾次.
!output段順序執行,沒有對日誌type進行判斷的各外掛程式配置都會全部執行一次.
output }}
email:傳送郵件
output "
options =>
htmlbody => ""
body => ""
attachments => ["/path/to/filename"]}}
注意:option引數在logstash2.0以後已經被移除.
output "
to => "[email protected]"
via => "smtp"
body => "%"}}
file:儲存成檔案
output /%/%/%.log.gz"
message_format => "%"
gzip => true}}
logstash 常用引數
最近在折騰logstash,其處理流程不過於input filter output三個處理流程,以下是我翻譯的幾個常用的處理引數 output流之http output input流codec之json格式 input 被用來解析完全格式的json訊息,如果json資料使用 n 分割的,則可以使用j...
logstash 配置詳解
摘要 logstash配置總結和例項 這裡記錄logstash配置中注意的事項 整個配置檔案分為三部分 input,filter,output。參考這裡的介紹 1 在windows中,檔案路徑中分隔符要使用 而不是 如果使用了 那麼 匹配將會失敗。2 預設的 timestamp是使用utc時間表示的...
logstash 安裝配置
logstash 7.2.0 解壓到指定目錄 如果不做任何優化,現在就可以執行 bin logstash f config logstash.conflogstash.conf是你收集日誌的配置檔案,關於這個檔案的配置,之後會簡單介紹幾篇 如果只是簡單測試,或是自己玩一玩,是可以不做優化的 1 在j...