apache flume
詳情請看文章：《大資料：資料採集平台之apache flume》
fluentd
詳情請看文章：《大資料：資料採集平台之fluentd》
logstash
詳情請看文章：《大資料：資料採集平台之logstash》
apache chukwa
詳情請看文章：《大資料：資料採集平台之apache chukwa 》
scribe
詳情請看文章：《大資料：資料採集平台之scribe 》
splunk forwarder
詳情請看文章：《大資料：資料採集平台之splunk forwarder》
scribe是facebook開發的資料(日誌)收集系統。已經多年不維護。部署架構如下：
參考：
剖析大資料平台的資料採集
我在一次社群活動中做過一次分享，演講題目為 大資料平台架構技術選型與場景運用 在演講中，我主要分析了大資料平台架構的生態環境，並主要以資料來源 資料採集 資料儲存與資料處理四個方面展開分析與講解，並結合具體的技術選型與需求場景，給出了我個人對大資料平台的理解。本文講解資料採集部分。資料採集的設計，幾...
大資料之資料採集引擎flum
flume的安裝非常簡單，只需要解壓的tar.gz的包後，就可以啟動 大資料之資料採集引擎flum flum是用來採集檔案的比如.log檔案，也可以指定乙個目錄 flum由三個元件組成，分別是 source channel sink source元件是用來採集日誌 channel元件是用來緩衝日誌的...
從0到1搭建大資料平台之資料採集系統
關於從0到1搭建大資料平台，之前的一篇博文 如何從0到1搭建大資料平台 已經給大家介紹過了，接下來我們會分步講解搭建大資料平台的具體注意事項。當你需要搭建大資料平台的時候一定是傳統的關係型資料庫無法滿足業務的儲存計算要求了，所以首先我們面臨的是海量的資料。複雜資料的概念和理想資料完全相反。所有資料集...