logstash引數配置

2021-07-27 21:55:28 字數 1199 閱讀 5480

input配置:

file:讀取檔案

input

}start_position:logstash從什麼位置讀取檔案資料,預設是結束的位置,也就是說logstash會以類似tail -f的形式執行。

如果需要匯入原始資料,需要把這個設定為:"beginnning",logstash就從頭開始讀取.

stdin:標準輸入

input

codec => "plain"

tags => ["add"]

type => "std"}}

input

}filter]}}

}output

}else }}

filter配置:

data:時間處理

%這種寫法必須讀取@timestamp資料,所以一定不要直接刪除這個字段保留自己的字段,而是應該用filter/date轉換後刪除自己的字段.

filter "]

}date

}時區偏移量使用z.

output配置:

elasticsearch:

output -%"

document_type => "%"

flush_size => 20000

idle_flush_time => 10

sniffing => true

template_overwrite => true}}

?logstash在有多個conf檔案的情況下,進入es的資料會重複,幾個conf資料就會重複幾次.

!output段順序執行,沒有對日誌type進行判斷的各外掛程式配置都會全部執行一次.

output }}

email:傳送郵件

output "

options =>

htmlbody => ""

body => ""

attachments => ["/path/to/filename"]}}

注意:option引數在logstash2.0以後已經被移除.

output "

to => "[email protected]"

via => "smtp"

body => "%"}}

file:儲存成檔案

output /%/%/%.log.gz"

message_format => "%"

gzip => true}}

logstash 常用引數

最近在折騰logstash,其處理流程不過於input filter output三個處理流程,以下是我翻譯的幾個常用的處理引數 output流之http output input流codec之json格式 input 被用來解析完全格式的json訊息,如果json資料使用 n 分割的,則可以使用j...

logstash 配置詳解

摘要 logstash配置總結和例項 這裡記錄logstash配置中注意的事項 整個配置檔案分為三部分 input,filter,output。參考這裡的介紹 1 在windows中,檔案路徑中分隔符要使用 而不是 如果使用了 那麼 匹配將會失敗。2 預設的 timestamp是使用utc時間表示的...

logstash 安裝配置

logstash 7.2.0 解壓到指定目錄 如果不做任何優化,現在就可以執行 bin logstash f config logstash.conflogstash.conf是你收集日誌的配置檔案,關於這個檔案的配置,之後會簡單介紹幾篇 如果只是簡單測試,或是自己玩一玩,是可以不做優化的 1 在j...