kafka和flume的對比

摘要：（1）kafka和flume都是日誌系統。

kafka是分布式訊息中介軟體，自帶儲存，提供push和pull訪問資料功能。

flume分為agent（資料採集器）,collector（資料簡單處理和寫入）,storage（儲存器）三部分，每一部分都是可以定製的。比如agent採用

rpc（thrift-rpc）、text（檔案）等，

storage指定用hdfs做。

（2）kafka做日誌快取應該是更為合適的，但是 flume的資料採集部分做的很好，可以定製很多資料來源，減少開發量。所以比較流行flume+kafka模式，如果為了利用flume寫hdfs的能力，也可以採用kafka+flume的方式。

採集層主要可以使用flume, kafka兩種技術。

flume：flume 是管道流方式，提供了很多的預設實現，讓使用者通過引數部署，及擴充套件api.

kafka：kafka是乙個可持久化的分布式的訊息佇列。

flume

和kafka

可以結合起來使用。通常會使用

flume + kafka

的方式。其實如果為了利用

flume

已有的寫

hdfs

功能，也可以使用

kafka + flume

的方式。

**：