Flume NG 使用首記

第一步，配置cloudera-cdh4軟體源，見cloudera官網文件。略……

第二步，安裝flume客戶端

yum -y install flume-ng

1、flume使用經典的alternatives進行多版本管理，檢視/新增配置路徑：

# alternatives --display flume-ng-conf

flume-ng-conf - status is auto.

link currently points to /etc/flume-ng/conf.empty

/opt/cloudera/parcels/cdh-4.2.0-1.cdh4.2.0.p0.10/etc/flume-ng/conf.empty - priority 10

/etc/flume-ng/conf.empty - priority 30

current `best' version is /etc/flume-ng/conf.empty.

# 定義agent1對應的屬性名稱

agent1.sources = ngrinder

agent1.sinks = hdfs4log

agent1.channels = memory4log

# 定義日誌的**，下例為ngrinder的啟動日誌

agent1.sources.ngrinder.type = exec

agent1.sources.ngrinder.command = tail -f /data/log/ngrinder/startup.log

agent1.sources.ngrinder.channels = momery01

# 指定日誌儲存的目標位址，下例為直接寫到hdfs中

agent1.sinks.hdfs4log.type = hdfs

agent1.sinks.hdfs4log.hdfs.path = hdfs:

agent1.sinks.hdfs4log.channel = momery4log

# 定義日誌緩衝區，方便在網路阻塞時日誌可以延時輸出

agent1.channels.memory4log.type = memory

agent1.channels.memory4log.capacity = 1000

agent1.channels.memory4log.transactioncapacity = 100

su -m -c 'flume-ng agent -n agent1 -f /etc/flume-ng/conf/flume.conf' hdfs

5、測試環境

# flume-ng version

flume 1.3.0-cdh4.2.1

source code repository:

revision: 68867f41ba0906cc4050efade51afca563f0e65b

compiled by jenkins on mon apr 22 13:07:14 pdt 2013

from source with checksum a341b20667cda79e8561f388a94a5168

# uname -a

linux centos6.4 2.6.32-358.2.2.el6.x86_64

Golang使用首記

上週聽了許式偉 的 go next c 瞬間讓我對go產生了興趣。目前最新版本為1.1.1，關於go的好處我就不介紹了。獻上golang的src.rpm，方便有需要的同學打rpm包安裝使用。筆者就此記錄第1次使用liteide編寫go的過程，計算0到99的md5值 以windows x86 64為例...

Blog開張首記！

ladies and gentlmen 今天是重要的一天，歷史將記住這一天！今天，我的arxblog開張了！哈哈！大家一定會問，arx是什麼東東哦？我們中國人叫它autocad執行時擴充套件，american叫它autocad runtime extension。autocad知道吧，不知道的先go...

Flume NG（三）使用Event介面表示資料流

flume ng有4個主要的元件 event表示在flume各個agent之間傳遞的資料流 source表示從外部源接收event資料流，然後傳遞給channel channel表示對從source傳遞的event資料流的臨時儲存 sink表示從channel中接收儲存的event資料流，並傳遞給下...