Fluentbit tial es 配置解析

[service] flush 1 #buffer裡的資料每隔1秒寫到output外掛程式裡，這裡寫到es裡。 log_level info #fluent-bit的日誌級別 daemon off parsers_file parsers.conf #指向了另外乙個配置檔案，裡面配置所有的parser。 name tail #指定了input外掛程式的型別，這裡是tail型別 tag }_}_}_}給採集的日誌打個標籤，後面filter和output根據這個標籤選擇資料來源 path /var/log/pods/$/}/*.log path_key filename parser docker db /var/log/pods/$/}/flb_std.db#記錄哪個檔案採集到哪一行 db.sync full #internal sqlite engine用哪種方法同步資料到磁碟，full為安全優先 #key log mem_buf_limit 5mb #一旦buffer裡的資料超過mem_buf_limit，tail就會暫停採集，直到buffer資料被flush到output。 skip_long_lines on #跳過長度大於buffer_max_size的行 buffer_chunk_size 32k #tail命令的buffer初始大小，具體作用和對效能的影響還需進一步研究 buffer_max_size 32k #tail命令的buffer最大值，具體作用和對效能的影響還需進一步研究 refresh_interval 10 #定時掃瞄磁碟上的新檔案的間隔。 rotate_wait 5 #檔案rotate後的等待一段時間後再繼續監控這個檔案，以防flush一些pending data，具體作用和對效能的影響還需進一步研究 ignore_older 10d #忽略近十天來未更改的檔案 [filter] name modify #外掛程式的型別 match * #匹配到任何資料來源 add node_name $ add node_ip $ add pod_name $ [output] name es #外掛程式的型別 match }_}* #匹配到tag為}_}*的資料來源 host } #es的hostname 可以是網域名稱和ip port } #es的埠 pipeline #不要用 logstash_format on #是否採用類似logstash的index，可以根據時間設定index名字 logstash_prefix logstash #索引名稱的字首 logstash_dateformat %y.%m.%d #名稱字尾格式 time_key tail-time #logstash_format enabled的時候，每條記錄會新產生乙個時間戳 time_key_format %y-%m-%dt%h:%m:%s #新時間戳的格式 generate_id on #對記錄去重，可能有效能消耗。 trace_output off #列印elasticsearch api calls 除錯的時候用。 logstash_prefix_key ttt # retry_limit 5 #傳輸失敗後重試次數，預設為2，設定為false時，無限次重試

parsers.conf

[parser] name docker format json time_key time time_format %y-%m-%dt%h:%m:%s.%l %z decode_field escaped_utf8 log [parser] name json_parse format json time_key time time_keep on time_format %y-%m-%dt%h:%m:%s

關於es中的時間理解：

預設日誌入es時會加上@timestamp欄位，時間取值為日誌入es的時間，如果在parser中對日誌中的時間字段（如time）進行解析，並且解析正確。則將解析正確的時間值賦給@timestamp欄位。顯現象如下：

Fluentbit tial es 配置解析

ruby cucumber環境配置問題及解決方法

webpack 巧解環境配置問題

Spring Cloud 微服務之配置中心解決方案

Fluentbit tial es 配置解析

ruby cucumber環境配置問題及解決方法

webpack 巧解環境配置問題

Spring Cloud 微服務之配置中心解決方案

相關推薦