安全事件標準化
一般的日誌系統,為了接收日誌的效率，不去做日誌的標準化工作，收集大量冗餘日誌在資料庫，而龐大的資料庫在檢索時導致效率越來越低，更別提自動掃選出故障。當故障發生後很長時間，依然被動的在資料庫中，人工查詢可疑故障日誌，效率低下。
然而，在ossim系統中不僅需要統一格式，而且要專門的屬性，這為系統中的關聯分析引擎的資料來源奠定了良好的基礎，我們先看幾個典型欄位及說明：
為了更好的學習第2章介紹的siem控制台，下面先看幾個統一格式安全事件的例項，
在redis伺服器中處理大量的非結構化資料，但最終經過一系列規則檢測發出的報警，再經過聚合後產生的聚合報警具有統一格式，並集中儲存在mysql資料庫中。下面給出典型的記錄格式。
1）raw log典型記錄格式如圖1所示。
圖1 raw log記錄格式
2） siem事件歸一化記錄格式如圖2、圖3所示。
圖2 事件歸一化處理格式
圖3 siem記錄格式
在ossim中的事件是如何實現儲存呢？感測器從各種網路裝置和伺服器上通過rsyslog收集原始日誌，儲存在sensor所在伺服器的硬碟等待處理，當收到日誌後，安裝在探針伺服器上的**開始工作，利用事先設定好的安全外掛程式開始對日誌進行預處理（也就是進行歸一化處理），流程如圖4所示。
圖4感測器日誌採集流程
agent將外掛程式收到的日誌送往server再進行深度加工，將字段按照類別重新組合，成下面的格式（這樣就從raw log變成了歸一化處理的日誌，歸一化處理格式如表1所示。
表1 歸一化處理日誌格式
date
src_port
sensor
dst_ip
inte***ce
dst_port
plugin_id
username
plugin_sid
password
prority
filename
protocol
userdata1～userdata5
src_ip
userdata6～userdata9
歸一化處理，重要字段含義如下：
源和目標埠：可以分析訪問和試圖訪問的那些服務埠。
訊息分類： 根據使用者登入成功或失敗或者嘗試的訊息分類。
時間戳： 這裡包括日誌訊息在裝置上產生的時間和系統接收訊息的時間（因為有各種延遲存在，時間不同）。
優先順序： 例如網路裝置(交換機)的日誌包含了優先順序（裝置**商制定）。作為規範化的一部分也需要日誌包含優先順序。
介面： 通過那個網路介面接收到的日誌訊息。
原始日誌是規範化過程的乙個重要環節，ossim在歸一化處理日誌的同時也保留了原始日誌，可用於日誌歸檔，提供了一種從規範化事件中提取原始日誌的手段。
經過歸一化處理的日誌，再通過tcp 3306埠儲存到mysql資料庫中，接著就由關聯引擎根據規則、優先順序、可靠性等引數進行交叉關聯分析，得出風險值並發出各種報警提示資訊（詳情在後續章節再分析）。
圖5 日誌儲存
接下來，我們再看個例項，下面是一段apache的原始日誌，如圖6所示。
圖6原始日誌
圖7 歸一化處理以後的apache訪問日誌
在圖7所示的例子當中，僅使用了userdata1和userdata2，並沒有用到userdata3～userdata9這些是擴充套件位，主要是為了預留給其他裝置或服務使用。
圖8 siem控制台下的主機標識形式
經過歸一化處理之後，目標位址會標記成host-ip位址的形式，例如：host-192-168-0-1。實際上歸一化處理這種操作發生在系統採集和儲存事件之後，關聯和資料分析之前，在siem工具中把採集過程中把資料轉換成易讀懂的格式，如同圖7顯示的那樣，採用格式化的資料我們能更容易理解。如果您希望繼續學習有關安全事件標準化的技術請參考《開源安全運維平台-ossim最佳實踐》一書。
安全事件標準化
安全事件標準化 一般的日誌系統,為了接收日誌的效率，不去做日誌的標準化工作，收集大量冗餘日誌在資料庫，而龐大的資料庫在檢索時導致效率越來越低，更別提自動掃選出故障。當故障發生後很長時間，依然被動的在資料庫中，人工查詢可疑故障日誌，效率低下。然而，在ossim系統中不僅需要統一格式，而且要專門的屬性，...
資料的標準化和標準化方法
資料的標準化 normalization 是將資料按比例縮放，使之落入乙個小的特定區間。在某些比較和評價的指標處理中經常會用到，去除資料的單位限制，將其轉化為無量綱的純數值，便於不同單位或量綱的指標能夠進行比較和加權。其中最典型的就是資料的歸一化處理，即將資料統一對映到 0,1 區間上，常見的資料歸...
資料的標準化和標準化方法
資料的標準化 normalization 是將資料按比例縮放，使之落入乙個小的特定區間。在某些比較和評價的指標處理中經常會用到，去除資料的單位限制，將其轉化為無量綱的純數值，便於不同單位或量綱的指標能夠進行比較和加權。其中最典型的就是資料的歸一化處理，即將資料統一對映到 0,1 區間上，常見的資料歸...