做電商數倉專案時，遇到了乙個奇怪的問題，flume消費kafka時，在hdfs上沒有傳遞過來資料，這樣我很頭疼，經過測試，我發現在kafka中可以讀取到日誌採集flume發過來的資料，這就證明在消費flume之前的配置是沒有問題的，後來我找到了問題所在。
由於是才有指令碼群起的集群，在生成日誌時，消費者flume由於沒有完全啟動的原因，使其在消費資料時不成功，所以應該在群起指令碼中設定sleep時間，或者將sleep的值調大，如果還不可以
就將f2在指令碼中去除，在生成日誌後單獨啟動f2，這樣問題就解決了！
kafka 主動消費 Kafka消費者的使用和原理
publicstaticvoidmain string args finally 前兩步和生產者類似，配置引數然後根據引數建立例項，區別在於消費者使用的是反序列化器，以及多了乙個必填引數 group.id，用於指定消費者所屬的消費組。關於消費組的概念在 kafka中的基本概念 中介紹過了，消費組使得...
flume日誌採集 到kafka ，使用斷點續傳
使用斷點續傳所需要的jar，可直接替換flume bin目錄下的flume taildir source 1.9.0.jar agent custominterceptor.sources r1 custominterceptor.channels c1 custominterceptor.sink...
使用Flume往kafka和hdfs裡同時寫資料
元件名稱 元件版本 flume flume ng 1.6.0 cdh5.7.0.tar.gz zookeeper zookeeper 3.4.5 kafka kafka 2.11 0.10.0.0.tgz zookeeper部署 參照第4部 flume的部署 解壓 hadoop hadoop001 ...