利用 ELK 處理 Percona 審計日誌

percona server為 mysql 資料庫伺服器進行了改進，在功能和效能上較 mysql 有著很顯著的提公升。該版本提公升了在高負載情況下的 innodb 的效能、為 dba 提供一些非常有用的效能診斷工具；另外有更多的引數和命令來控**務器行為前提

1、有強烈的審計需求。

2、能允許10%-15%左右的效能損失。

3、有強烈的對資料庫操作實時檢視需求(一般都是為了領導要求)。

logstash 比較坑的配置

input 
}output 
}

上面的配置看上去是沒有問題的，如果是一般的json資料哪就能解析成功了，

但是在 percona audit plugin 中應用程式應用程式生成的sql是五花八門，各種字元都有其中有。

如下審計的日誌被 python 讀取後的字串展現(紅色標記)：

從上圖可以看到有一些換行後tab的字元，這些字元使用 json.load 的時候會報錯,不能解析成json

使用python json 模組解析相關日誌檔案報錯：

>>> json.loads(json_line)
traceback (most recent call last):
file "", line 1, in file "/usr/lib64/python2.7/site-packages/******json/__init__.py", line 516, in loads
return _default_decoder.decode(s)
file "/usr/lib64/python2.7/site-packages/******json/decoder.py", line 370, in decode
obj, end = self.raw_decode(s)
file "/usr/lib64/python2.7/site-packages/******json/decoder.py", line 400, in raw_decode
return self.scan_once(s, idx=_w(s, idx).end())
******json.scanner.jsondecodeerror: invalid control character '\t' at: line 1 column 232 (char 231)

所以在使用logstash的時候也就解析不了這樣的json資料了，

最終logstash只能報錯並將整個message記錄到 elasticsearch 中

解決辦法

解決辦法就是把這些字元替換掉。如下 logstash 配置檔案

input } 
filter " ]
}json
mutate } 
output 
}

該配置檔案是投機取巧的辦法, 把 (換行/tab) 字元替換成空格，要注意的一點最終顯示的sql和原來的有所差別。

這種方法有點不靈活如果sql語句中還有遇到一些json不能解析的字元又要進行處理。

>>朋友們如果有更好的方法也告知一聲哈！<<<

還不能笑到最後

剛開始以為這一切都萬事大吉了。其實還有個一坑就是在使用 kibana 檢視的時候，這時候問題就來了。

有是有過 percona audit 外掛程式的估計都有這樣的問題，就是他記錄的是時間是國際形式的(如上圖黃色標記)，不像我們習慣了北京時間。因此在頁面顯示的時間會比我們平時的少 8 小時。

一般來說在elk中使用國際的標準格式是合理的。因為在使用 kibana 檢視的時候會幫你自動轉化成本地時間格式。也就是如果我們在中國他會自動把 timezone 轉化為 asia/shanghai(東8區) 的。所以顯示的時間應該是正確的才對。可是實際情況並沒有。

沒有轉化的原因

是應為 elasticsearch 將 "2016-08-30t01:45:30 utc" 這串字元解析成了string型別。按道理應該解析成和@timestamp一樣的date型別。

解決思路

將 "2016-08-30t01:45:30 utc" 格式轉化成和 @timestamp 一樣的格式("2016-08-30t01:45:30z")

最終配置檔案如下

input } 
filter " ]
}json
mutate " ]
}} output 
}

使用上面配置就能順利的將時間格式轉化成 elasticsearch 想要的時間格式，並且能在 kibana 中正確顯示。

免費提供最新

linux

利用 ELK 處理 Percona 審計日誌

利用rsyslog 對Linux使用者進行審計

ELK 日誌處理開發指南

用ELK 實時處理搜尋日誌

利用 ELK 處理 Percona 審計日誌

利用rsyslog 對Linux使用者進行審計

ELK 日誌處理開發指南

用ELK 實時處理搜尋日誌

相關推薦