首先,了解linux系統日誌的五種分類:
/var/log/messages ##系統服務及日誌,包括服務的資訊,報錯等等
/var/log/secure ##系統認證資訊日誌
/var/log/maillog ##系統郵件服務資訊
/var/log/cron ##系統定時任務資訊
/var/log/boot.log
##系統啟動資訊
日誌管理服務rsyslog介紹
rsyslog負責採集日誌和分類存放日誌,rsyslog的主配置檔案為/etc/rsyslog.conf, 大多數日誌檔案都位於 /var/log/ 目錄中。
/etc/rsyslog.conf分類存放日誌的格式:
日誌裝置(型別).(連線符號)日誌級別 日誌處理方式(action)
各欄位指代內容:
####日誌裝置(型別)####
auth ##pam產生的日誌
authpriv ##ssh,ftp等登入資訊的驗證資訊
cron ##時間任務相關
kern ##核心
lpr ##列印
mail ##郵件
mark(syslog)–rsyslog ##服務內部的資訊,時間標識
news ##新聞組
user ##使用者程式產生的相關資訊
uucp ##unix to unix copy, unix主機之間相關的通訊
local
1~7##自定義的日誌裝置
####日誌級別####
debug
##有調式資訊的,日誌資訊最多
info
##般資訊的日誌,最常用
notice
##最具有重要性的普通條件的資訊
warning ##警告級別
err ##錯誤級別,阻止某個功能或者模組不能正常工作的資訊
crit
##嚴重級別,阻止整個系統或者整個軟體不能正常工作的資訊
alert ##需要立刻修改的資訊
emerg ##核心崩潰等嚴重資訊
none
##什麼都不記錄
####連線符號####
.***: 表示大於等於***級別的資訊
.=***:表示等於***級別的資訊
.!***:表示在***之外的等級的資訊
日誌的同步
1.關閉兩台主機的防火牆
systemctl stop firewalld
2.修改日誌傳送方配置檔案/etc/rsyslog.conf
*.* @172.25.254.23
##通過udp協議把所有型別所有級別日誌傳送到232主機,@udp,@@tcp
3.修改日誌接收方配置檔案/etc/rsyslog.conf
15
$modload imudp ##日誌接收外掛程式
16$udpserverrun
514##日誌接收外掛程式使用埠
4.兩邊清空系統日誌
> /var/log/messages
5.傳送方產生測試資訊
logger test message
##日誌傳送方
6.接收方檢視日誌
tail -f /var/log/message ##日誌接收方
日誌的採集格式
修改配置檔案/etc/rsyslog.conf
$template westos, "%timegenerated% %fromhost-ip% %syslogtag% %msg
%\n"
**引號內欄位釋義如下**
%timegenerated% ##顯示日誌時間
%fromhost-ip% ##顯示主機ip
%syslogtag% ##日誌記錄目標
%msg% ##日誌內容
\n ##換行
$actionfiledefaulttemplate westos
*.info;mail.none;authpriv.none;cron.none /var/log/messages;<>
產生幾組測試資料,可看到日誌檔案按新格式顯示
jul 26 04:48
:09 127.0
.0.1
systemd: stopping
system
logging
service...
jul 26 04:48
:09 127.0
.0.1
systemd: starting
system
logging
service...
jul 26 04:48
:49 127.0
.0.1
systemd: started
system
logging
service.
日誌分析工具journal
systemd-journald ##journal工具的程序名稱
journalctl ##直接執行,瀏覽系統日誌
-n 3
##顯示最新3條
-p err ##顯示報錯
-f ##監控日誌
--since --until
## --since "[yyyy-mm-dd] [hh:mm:ss]" 從什麼時間到什麼時間的日誌
-o verbose ##顯示日誌能夠使用的詳細程序引數
##_systemd_unit=sshd.service服務名稱
##_pid=1182程序pid
日誌採集系統
編寫日誌採集系統 邏輯分析 1.找到伺服器上日誌存在的目錄,因為日誌可能正在編寫,防止讀取檔案的時候,日誌檔名的改變,所以將編寫完成的日誌移動到某乙個臨時的資料夾下 2.在臨時資料夾下將檔案上傳至hdfs系統中 3.將讀取的檔案移動到某種備份檔案中,設定為24小時後自動刪除 採集日誌 public ...
syslog日誌系統 日誌採集
日誌採集介面把接收過來的日誌資料寫入到日誌檔案,日誌檔案以天為單位進行儲存。介面採用 ignoretoken標記不需要進行令牌校驗。採用 crossorigin標記,讓介面能夠跨域訪問,支援ajax跨域請求。apioperation value 提交日誌 apiimplicitparams path...
syslog日誌系統 日誌採集
摘自 日誌採集介面把接收過來的日誌資料寫入到日誌檔案,日誌檔案以天為單位進行儲存。介面採用 ignoretoken標記不需要進行令牌校驗。採用 crossorigin標記,讓介面能夠跨域訪問,支援ajax跨域請求。apioperation value 提交日誌 apiimplicitparams l...