關於日誌採集的爭論

在sans發布了2023年日誌管理調查報告後，立即在業界引發了一場關於日誌管理的最大挑戰到底什麼的大討論。針對報告提出的日誌管理的最大挑戰已經不再是日誌採集，而轉向分析、檢索的觀點，很多業內日誌表達了不同觀點。尤其指出由於這份報告的sponsor的身份，存在誤導的嫌疑。很多人表示，日誌採集依然是日誌管理的重大挑戰。

具體而言，就是如何採集日誌的問題。目前，業界存在兩種方**：1）log erverything；2）log what you need。但是每種方式都存在其不少問題，因而雙方各執一詞，很難說服對方。darkreading上有一篇關於這些爭論的業內人士的觀點摘錄。

關於這個問題，也是我們自己的產品規劃的時候需要明確的，重要的不是採取哪種方法，而是要採取一種方法。如何取捨？我認為跟使用者使用場景相關，後面我會表達我個人的觀點。

關於日誌採集的爭論

在sans發布了2011年日誌管理調查報告後，立即在業界引發了一場關於日誌管理的最大挑戰到底什麼的大討論。針對報告提出的日誌管理的最大挑戰已經不再是日誌採集，而轉向分析 檢索的觀點，很多業內人士表達了不同觀點。尤其指出由於這份報告的sponsor的身份，存在誤導的嫌疑。很多人表示，日誌採集依然是日誌...

關於日誌採集的爭論

在 sans 發布了2011年日誌管理調查報告 後，立即在業界引發了一場關於日誌管理的最大挑戰到底什麼的大討論。針對報告提出的日誌管理的最大挑戰已經不再是日誌採集，而轉向分析 檢索的觀點，很多業內日誌表達了不同觀點。尤其指出由於這份報告的 sponsor 的身份，存在誤導的嫌疑。很多人表示，日誌採集...

日誌採集 基於Flink的日誌採集

目前基於elk架構的日誌系統，通過filebeat收集上來的日誌都會傳送到同乙個kafka topic中，然後再由logstash消費處理寫入elasticsearch中，這種方式導致該topic包含所有業務日誌，那麼各個業務去做實時統計分析就會造成重複消費，使得流量成本的浪費 對於離線分析的日誌 ...