日期外掛程式date filter plugin用於對logstash接收到的字段中的日期進行處理,可以使用處理後的日期作為logstash的timestamp.
日期進行處理後,可以在kibana中用於統計和分析.
logstash幫助文件
input
}filter
}output
}
20171124
20171120
20171124和20171120是控制台輸入的,其餘內容時rubydebug外掛程式輸出的內容.可以看到:
* 輸入的內容預設儲存在了message欄位中
*@timestamp隨著message中的日期而改變了.
*@timestamp雖然改變了,但是和設定的時間不一樣.
date外掛程式預設的是將時間轉化為zulu/utc標準時間,也就是說,上面的時間我設定的是20171120,指的是當前時區的時間的20171120 00:00:00
但是,到了logstash中,被轉為標準時間,也就是當前時區的時間-8小時,為20171119 16:00:00.
date外掛程式特有的選項如下:
用於指定本地方言,比如設定為en,en-us等.主要用於解析非數字的月,和天,比如monday,may等.如果是時間日期都是數字的話,不用關心這個值.
match
用於將指定的字段按照指定的格式解析.比如:
match => ["createtime", "yyyymmdd","yyyy-mm-dd"]tag_on_failure
新增乙個值到字段中,如果日期解析失敗.
target
用於指定轉化後的日期儲存的欄位名
timezone
用於為要被解析的時間指定乙個時區,值為時區的canonical id,可以在這裡看到可以使用的值.
一般不用設定,因為會根據當前系統的時區獲取這個值.
這裡設定的時區並不是logstash最終儲存的時間的時區,logstash最終儲存的時間為utc標準時間.
比如這裡設定時間為20171120:
提供乙個解析通用的日期配置:
filter
}
Boost之日期時間處理 date time庫
使用date time庫需要在編譯時加上 lboost date time 而且需要包含以下標頭檔案 處理日期的元件 include 處理時間的元件 include date是date time庫處理日期的核心類，使用乙個32位的整數作為內部儲存，以天為單位表示時間點概念。date也全面支援比較操作...
資料處理之日期轉換
coding utf 8 概念 時間轉換，是指將字元型的時間格式資料，轉換為時間型資料的過程 時間轉換函式 datetime pandas.to datetime datestring,format y 代表年份 m 代表月份 d 代表日期 h 代表小時 m 代表分鐘 s 代表秒 時間格式化 是指將...
python筆記21 資料處理之日期轉換
coding utf 8 概念 時間轉換，是指將字元型的時間格式資料，轉換為時間型資料的過程 時間轉換函式 datetime pandas.to datetime datestring,format y 代表年份 m 代表月份 d 代表日期 h 代表小時 m 代表分鐘 s 代表秒 時間格式化 是指將...