Linux系統日誌管理 同步 採集 分析

2021-08-04 09:01:52 字數 3480 閱讀 3445

首先,了解linux系統日誌的五種分類:

/var/log/messages     ##系統服務及日誌,包括服務的資訊,報錯等等

/var/log/secure ##系統認證資訊日誌

/var/log/maillog ##系統郵件服務資訊

/var/log/cron ##系統定時任務資訊

/var/log/boot.log

##系統啟動資訊

日誌管理服務rsyslog介紹

rsyslog負責採集日誌和分類存放日誌,rsyslog的主配置檔案為/etc/rsyslog.conf, 大多數日誌檔案都位於 /var/log/ 目錄中。

/etc/rsyslog.conf分類存放日誌的格式:

日誌裝置(型別).(連線符號)日誌級別   日誌處理方式(action)

各欄位指代內容:

####日誌裝置(型別)####

auth ##pam產生的日誌

authpriv ##ssh,ftp等登入資訊的驗證資訊

cron ##時間任務相關

kern ##核心

lpr ##列印

mail ##郵件

mark(syslog)–rsyslog ##服務內部的資訊,時間標識

news ##新聞組

user ##使用者程式產生的相關資訊

uucp ##unix to unix copy, unix主機之間相關的通訊

local

1~7##自定義的日誌裝置

####日誌級別####

debug

##有調式資訊的,日誌資訊最多

info

##般資訊的日誌,最常用

notice

##最具有重要性的普通條件的資訊

warning ##警告級別

err ##錯誤級別,阻止某個功能或者模組不能正常工作的資訊

crit

##嚴重級別,阻止整個系統或者整個軟體不能正常工作的資訊

alert ##需要立刻修改的資訊

emerg ##核心崩潰等嚴重資訊

none

##什麼都不記錄

####連線符號####

.***: 表示大於等於***級別的資訊

.=***:表示等於***級別的資訊

.!***:表示在***之外的等級的資訊

日誌的同步

1.關閉兩台主機的防火牆

systemctl stop firewalld
2.修改日誌傳送方配置檔案/etc/rsyslog.conf

*.*         @172.25.254.23

##通過udp協議把所有型別所有級別日誌傳送到232主機,@udp,@@tcp

3.修改日誌接收方配置檔案/etc/rsyslog.conf

15

$modload imudp ##日誌接收外掛程式

16$udpserverrun

514##日誌接收外掛程式使用埠

4.兩邊清空系統日誌

> /var/log/messages
5.傳送方產生測試資訊

logger test message

##日誌傳送方

6.接收方檢視日誌

tail -f /var/log/message        ##日誌接收方
日誌的採集格式

修改配置檔案/etc/rsyslog.conf

$template westos, "%timegenerated% %fromhost-ip% %syslogtag% %msg

%\n"

**引號內欄位釋義如下**

%timegenerated% ##顯示日誌時間

%fromhost-ip% ##顯示主機ip

%syslogtag% ##日誌記錄目標

%msg% ##日誌內容

\n ##換行

$actionfiledefaulttemplate westos

*.info;mail.none;authpriv.none;cron.none /var/log/messages;<>

產生幾組測試資料,可看到日誌檔案按新格式顯示

jul 26 04:48

:09 127.0

.0.1

systemd: stopping

system

logging

service...

jul 26 04:48

:09 127.0

.0.1

systemd: starting

system

logging

service...

jul 26 04:48

:49 127.0

.0.1

systemd: started

system

logging

service.

日誌分析工具journal

systemd-journald        ##journal工具的程序名稱

journalctl ##直接執行,瀏覽系統日誌

-n 3

##顯示最新3條

-p err ##顯示報錯

-f ##監控日誌

--since --until

## --since "[yyyy-mm-dd] [hh:mm:ss]" 從什麼時間到什麼時間的日誌

-o verbose ##顯示日誌能夠使用的詳細程序引數

##_systemd_unit=sshd.service服務名稱

##_pid=1182程序pid

日誌採集系統

編寫日誌採集系統 邏輯分析 1.找到伺服器上日誌存在的目錄,因為日誌可能正在編寫,防止讀取檔案的時候,日誌檔名的改變,所以將編寫完成的日誌移動到某乙個臨時的資料夾下 2.在臨時資料夾下將檔案上傳至hdfs系統中 3.將讀取的檔案移動到某種備份檔案中,設定為24小時後自動刪除 採集日誌 public ...

syslog日誌系統 日誌採集

日誌採集介面把接收過來的日誌資料寫入到日誌檔案,日誌檔案以天為單位進行儲存。介面採用 ignoretoken標記不需要進行令牌校驗。採用 crossorigin標記,讓介面能夠跨域訪問,支援ajax跨域請求。apioperation value 提交日誌 apiimplicitparams path...

syslog日誌系統 日誌採集

摘自 日誌採集介面把接收過來的日誌資料寫入到日誌檔案,日誌檔案以天為單位進行儲存。介面採用 ignoretoken標記不需要進行令牌校驗。採用 crossorigin標記,讓介面能夠跨域訪問,支援ajax跨域請求。apioperation value 提交日誌 apiimplicitparams l...