第一次寫部落格，不知到如何寫好這篇部落格，有不足和錯誤的地方希望多多指出，共同交流進步。下面就開始說一說我所了解的flume這個框架，flume是個資料採集框架。當然，先要了解資料的**有哪些，才能知道flume是如何來採集資料的。好，下面我們就先來看看資料的**有哪些：
有web伺服器產生的log日誌檔案，例如tomcat伺服器、nginx伺服器、iis伺服器、apache伺服器等
網路埠資料
訊息佇列資料
當然flume不但能的採集資料，還可以聚合和傳輸資料的乙個高可用、高可靠的，並且是分布式系統
flume收集到的資料可以傳送到hdfs上、hbase上、hive上、網路埠、訊息佇列等
flume的採集過程就是將資料封裝到event來進行傳輸的。
event是資料flume_ng資料傳輸的基本單位。
由於採集資料的方式不同，所以在flume_ng中採集資料的過程由使用者開發agent來直接指定
flume簡單案例
從指定網路埠輸出資料到控制台 編寫example.conf檔案在flume的conf資料夾下 name the components on this agent a1.sources r1 a1.sinks k1 a1.channels c1 describe configure the sourc...
flume安裝，簡單介紹
1.flume 1.flume源於cloudera公司，用於自己公司日常資料生產收集，flume og，2.flume ng，由apache進行維護 3.flume是一種分布式，可靠且可用的服務，用於有效地收集，聚合和移動大量日誌資料 2.flume的組成 1.agent 每乙個 都是乙個 單獨的j...
flume簡單搭建 一
上傳到虛擬機器指定目錄，解壓t tar xzf apache flume 1.7.0 bin.tar.gz進入flume下的conf檔案下複製flume conf.properties修改名稱為example.conf 名字可以隨便改在啟動命令是注意名稱就行 修改example.conf檔案 指定a...