公司計畫部署flume日誌採集系統，所以簡單學習了一下相關的配置和使用。主要在自己的虛擬機器上測試驗證。
下面使用flume實現簡單的日誌收集功能：將loga目錄下新產生的日誌檔案自動收集到logb目錄
配置檔案test.conf 主要配置項如下。配置項中指定的各個目錄需提前建立。
#配置agent包含的各個元件
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1
#配置 source1
agent1.sources.source1.type = spooldir
agent1.sources.source1.spooldir = /home/wangping/loga/
agent1.sources.source1.channels = channel1
#配置 sink1
agent1.sinks.sink1.type = file_roll #表示將資料存入本地檔案系統
agent1.sinks.sink1.sink.directory=/home/wangping/logb/
agent1.sinks.sink1.sink.rollinterval=0 #滾動時間(每隔一段時間，系統會生成乙個新的檔案存放資料,為0時表示只有乙個檔案存放資料)
#配置 channel1
agent1.channels.channel1.type = file
agent1.channels.channel1.checkpointdir=/home/wangping/chn/checkpoint #存放檢查點
agent1.channels.channel1.datadirs=/home/wangping/chn/data #存放資料
agent1.channels.channel1.capacity = 1000 #checkpoint檔案存放event資訊的最大容量
agent1.channels.channel1.transactioncapactiy = 100 #事務的最大容量
#將source、sink與channel繫結
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1
配置完畢，啟動agent，使用的命令是
flume-ng agent -c /usr/local/flume1.6.0/conf -f /usr/local/flume1.6.0/conf/test.conf -dflume.root.logger=debug,console -n agent1
各引數含義：
-n 指定agent名稱
-c 指定配置檔案目錄
-f 指定配置檔案
-dflume.root.logger=debug,console 設定執行日誌等級為debug，控制台輸出;
若-dflume.root.logger=info,logfile 則日誌等級為info，輸出到logs目錄下的flume.log檔案
loga目錄下放入loga.txt檔案，flume自動開始傳輸資料，傳輸完畢後loga.txt被重新命名為loga.txt.completed,資料傳輸到logb目錄下，新生成檔案 1448882458302-1
其他參考：
《記flume-ng一些注意事項》
《flume使用小結》
《flume-ng原始碼閱讀之spooldirectorysource 》
《flume-ng原始碼閱讀之filechannel》
rsyslog 日誌收集服務簡單配置
環境 centos7 rsyslog的全稱是 rocket fast system for log，它提供了高效能，高安全功能和模組化設計。rsyslog能夠接受從各種各樣的 將其輸入，輸出的結果到不同的目的地。rsyslog可以提供超過每秒一百萬條訊息給目標檔案。使用rsyslog對伺服器各類日誌...
flume ng配置檔案詳解（四）
1 高可用 對於乙個系統而言，高可用指在乙個固定時間內，系統無故障執行的時間。1.1 source高可用 agent例項用來作為source源收集資料的時候，當agent程序死掉時候，這時候會降低系統的高可用。agent在supervise下啟動，如果agent程序死掉，會自動啟動。對agent程序...
FLUME日誌收集
flume是乙個分布式 可靠 和高可用的海量日誌聚合的系統，支援在系統中定製各類資料傳送方，用於收集資料 同時，flume提供對資料進行簡單處理，並寫到各種資料接受方 可定製 的能力。1 可靠性 當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。flume提供了三種級別的可靠性保障，從強到弱依...