flume特點
flume是乙個分布式、可靠、和高可用的海量日誌採集、聚合和傳輸的系統。支援在日誌系統中定製各類資料傳送方，用於收集資料;同時，flume提供對資料進行簡單處理，並寫到各種資料接受方(比如文字、hdfs、hbase等)的能力 。
flume的資料流由事件(event)貫穿始終。事件是flume的基本資料單位，它攜帶日誌資料(位元組陣列形式)並且攜帶有頭資訊，這些event由agent外部的source生成，當source捕獲事件後會進行特定的格式化，然後source會把事件推入(單個或多個)channel中。你可以把channel看作是乙個緩衝區，它將儲存事件直到sink處理完該事件。sink負責持久化日誌或者把事件推向另乙個source。
（1）flume的可靠性
當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。flume提供了三種級別的可靠性保障，從強到弱依次分別為：end-to-end（收到資料agent首先將event寫到磁碟上，當資料傳送成功後，再刪除；如果資料傳送失敗，可以重新傳送。），store on failure（這也是scribe採用的策略，當資料接收方crash時，將資料寫到本地，待恢復後，繼續傳送），besteffort（資料傳送到接收方後，不會進行確認）。
（2）flume的可恢復性
還是靠channel。推薦使用filechannel，事件持久化在本地檔案系統裡(效能較差)。at
h:path:
path
:flume_home/bin
儲存使其立即生效
[hadoop@hadoop1 conf]$ source ~/.bashrc
（5）檢視版本
Flume安裝部署
flume的安裝非常簡單，只需要解壓即可，當然，前提是已有hadoop環境 上傳安裝包到資料來源所在節點上 然後解壓 tar zxvfapache flume 1.6.0 bin.tar.gz 先用乙個最簡單的例子來測試一下程式環境是否正常 1 先在flume的conf目錄下新建乙個檔案 vi ne...
Flume 安裝教程
前言 flume 依賴於 j a 環境，安裝 flume 之前需要先安裝 jdk 1.上傳並解壓 flume 安裝檔案 將 apache flume 1.9.0 bin.tar.gz 安裝包上傳到 node 01 的 root 目錄下，並將其解壓 root node 01 rm rf apache ...
Flume工作原理詳解
flume是乙個分布式 可靠 和高可用的海量日誌採集 聚合和傳輸的系統。flume可以採集檔案 socket資料報等各種形式源資料，又可以將採集到的資料輸出到hdfs hbase hive kafka等眾多外部儲存系統中。一般的採集需求，通過對flume的簡單配置即可實現。flume針對特殊場景也具...