[b]採集技術比較[/b]
網路管理中常用來採集日誌資料的方式包括文字方式採集、snmp trap方式採集和syslog方式採集，另外，其他採集方式，如telnet 採集(遠端控制命令採集)、串列埠採集等。我們如何選用比較合適的技術方式進行日誌資料採集是必須首先考慮的，下面對當前主要的日誌資料採集技術進行簡單分 析。
[b]文字方式[/b]
隨著網路高速的發展，網路內部以百兆、千兆甚至萬兆互聯，即使採取功能強大的計算機來處理日誌資料報的採集工作，相對來說以上兩種方式速度和效率也是不盡人意。因此，文字方式只能在採集日誌資料範圍小、速度比較慢的網路中使用，一般在網路安全管理中不被主要採用。
[b]snmp trap方式[/b]
建立在簡單網路管理協議snmp上的網路管理，人們通常使用snmp trap 機制進行日誌資料採集。生成trap訊息的事件(如系統重啟)由trap**內部定義，而不是通用格式定義。由於trap機制是基於事件驅動的，**只有 在監聽到故障時才通知管理系統，非故障資訊不會通知給管理系統。對於該方式的日誌資料採集只能在snmp下進行，生成的訊息格式單獨定義，對於不支援 snmp裝置通用性不是很強。
網路裝置的部分故障日誌資訊，如環境、snmp訪問失效等資訊由snmp trap進行報告，通過對 snmp 資料報文中 trap 字段值的解釋就可以獲得一條網路裝置的重要資訊，由此可見管理程序必須能夠全面正確地解釋網路上各種裝置所傳送的trap資料，這樣才能完成對網路裝置的 資訊監控和資料採集。
但是由於網路結構和網路技術的多樣性，以及不同廠商管理其網路裝置的手段不同，要求網路管理系統不但對公有 trap能夠正確解釋，更要對不同廠商網路裝置的私有部分非常了解，這樣才能正確解析不同廠商網路裝置所傳送的私有 trap，這也需要跟廠商緊密合作，進行聯合技術開發，從而保證對私有 trap 完整正確的解析和應用。此原因導致該種方式面對不同廠商的產品採集日誌資料方式需單獨進行程式設計處理，且要全面解釋所有日誌資訊才能有效地採集到日誌資料。 由此可見，該採集在日常日誌資料採集中通用性不強。
[b]syslog方式[/b]
已成為工業標準協議的系統日誌(syslog)協議是在加里佛尼亞大學伯克立 軟體分布研究中心(bsd)的tcp/ip 系統實施中開發的，目前，可用它記錄裝置的日誌。在路由器、交換機、伺服器等網路裝置中，syslog記錄著系統中的任何事件，管理者可以通過檢視系統記 錄，隨時掌握系統狀況。它能夠接收遠端系統的日誌記錄，在乙個日誌中按時間順序處理包含多個系統的記錄,並以檔案形式存檔。同時不需要連線多個系統，就可 以在乙個位置檢視所有的記錄。syslog使用udp作為傳輸協議，通過目的埠514(也可以是其他定義的埠號),將所有安全裝置的日誌管理配置傳送 到安裝了syslog軟體系統的日誌伺服器，syslog日誌伺服器自動接收日誌資料並寫到日誌檔案中。
Shell 指令碼 定時採集 log 到 Hive
日誌準備 將日誌檔案按照mqtt yyyymm dd hh的樣式滾動生成，也就是每小時滾動一次。mqtt 202101 07 10.log mqtt 202101 07 11.log mqtt 202101 07 12.log.hive 建表 在將資料匯入hive之前，必須先按照資料的字段格式，預先...
Flume的多種採集方式
採集需求 伺服器的某特定目錄下，會不斷產生新的檔案，每當有新檔案出現，就需要把檔案採集到hdfs中去 修改flume安裝目錄下的conf檔案下的netcat logger.conf檔案 新增一下配置資訊 name the components on this agent a1.sources r1 ...
log4j 寫錯誤等告警日誌到syslog中
之前一直以為log4j只能將日誌寫在本地，沒想到它竟然也可以將日誌寫到遠端伺服器 須是linux伺服器 現將自已的調查結果記錄下來，以便以後檢視。1 修改syslog的配置檔案 etc syslog.conf 在最後加上如下內容 注意中間的空白必須是 tab 鍵，不能是空格，數量不限，切記！請參見下...