（本來打算一本正經的寫一篇文章，但是發現一本正經的寫我根本就寫不出來(´∇｀) ）當我們開始設計日誌系統的時候，我們要考慮的第乙個事情就是用什麼方式採集客戶機上面的日誌。而今天要給大家介紹的這款日誌採集神器就是nxlog。
日誌採集工具眾多，各有各的特色。
譬如logstash這頭大象雖然笨重，但是部署簡單，在各種環境下都能用。在某些艱苦的條件下，logstash還是能幫我們大忙的（請自行腦補一台xx定製機上面只有syslog，然後要自己當盤古開天闢地的場景）
又譬如rsyslog，基本上已經是運維採集日誌的標配了，效能高，大多數系統都自帶了。
又譬如heka（老衲已經跪了。。。。），好吧，不說heka了。
既然有了那麼多現成的日誌採集工具了，為什麼還需要nxlog呢？其實nxlog的作者們當時也是考慮過這個問題的
在幾年前，我們使用了乙個根據msyslog修改過來的版本，它也是乙個外掛程式化的架構。但是，和很多syslog的實現者一樣，它也是基於bsd的syslog的單執行緒架構實現的，所以它繼承了所有syslog的缺點。我們很快就發現我們需要乙個更好的日誌解決方案。接著，我們就開始尋找其他解決方案，有很多像rsyslog、syslog-ng這樣的方案是可以拿來代替msyslog的，但是大多數方案還是單執行緒的，並且不是原生支援windows系統的。於是我們就開始開發nxlog，nxlog從2023年開始開發，當時是乙個閉源專案，知道2023年我們才放出了開源的ce版本可以看到作者的心路歷程其實是這樣的。用syslog系列->跪了->用rsyslog頂上->windows下又跪了->程式設計師的本性顯露出來了，內心獨白（這些都是什麼渣渣，我要自己寫乙個(/= _ =)/~┴┴）於是2023年，nxlog就開始開發，等到2023年，第乙個開源版本放出來了，直到現在已經是第7個年頭了
既然是對現有工具都不滿而製造出來的產品，自然也會有屬於它自己的亮點特性
總結一下的話就是我是乙個跨平台、不會丟日誌、具備日誌緩衝與流量控制、定時作業、還帶簡單程式語言的寶寶。
再具備一定高度的總結一下的話呢，就是。。rsyslog和logstash等渣渣，不服來戰
好吧好吧，下面是nxlog的亮點特性完整版，內容有點長（慎點。。），想節省時間的看官看上面的總結就可以啦
日誌採集 基於Flink的日誌採集
目前基於elk架構的日誌系統，通過filebeat收集上來的日誌都會傳送到同乙個kafka topic中，然後再由logstash消費處理寫入elasticsearch中，這種方式導致該topic包含所有業務日誌，那麼各個業務去做實時統計分析就會造成重複消費，使得流量成本的浪費 對於離線分析的日誌 ...
日誌採集處理
最近由於專案需要上線乙個日誌採集 展示的功能，藉此機會梳理了一下日誌採集的大體框架。一般日誌採集的總體框架如下 大體流程為 統一日誌系統負責收集所有系統日誌和業務日誌，轉化為流式資料，通過flume或logstash上傳到日誌中心 kafka集群 然後供track storm spark及其它系統實...
日誌採集系統
編寫日誌採集系統 邏輯分析 1.找到伺服器上日誌存在的目錄，因為日誌可能正在編寫，防止讀取檔案的時候，日誌檔名的改變，所以將編寫完成的日誌移動到某乙個臨時的資料夾下 2.在臨時資料夾下將檔案上傳至hdfs系統中 3.將讀取的檔案移動到某種備份檔案中，設定為24小時後自動刪除 採集日誌 public ...