利用Flume kafka與hive對接

flume是cloudera提供的乙個高可用的，高可靠的，分布式的海量日誌採集，聚合和傳輸的系統，flume支援系統中定製的各類資料傳送方，用於收集資料，同時，flume提供對資料進行簡單處理，並寫到各種資料接受方（可定製的）的能力。

當前flume有兩個版本flume 0.9x版本統稱flume-og，flume1.x版本的統稱flume-ng。由於flume-ng經過重大重構，與flume-og有很大不同。使用時請注意區分。

接下來就是操作步驟了。

注意:建表時要進行分桶，賦予事務性，這樣才可以對hive進行增刪改查。預設是不被允許的。

建表如下：

create table kafkatest(id int,name string,age int) clustered by(id) into 2 buckets 
stored as orc tblproperties(『transactional』=』true』);

a.sources=source_from_kafka a.channels=mem_channel a.sinks=hive_sink #kafka為souce的配置 a.sources.source_from_kafka.type=org.apache.flume.source.kafka.kafkasource a.sources.source_from_kafka.zookeeperconnect=localhost:2181 a.sources.source_from_kafka.bootstrap.servers=localhost:9092 a.sources.source_from_kafka.topic=kafkatest a.sources.source_from_kafka.channels=mem_channel a.sources.source_from_kafka.consumer.timeout.ms=1000 #hive為sink的配置 a.sinks.hive_sink.type=hive a.sinks.hive_sink.hive.metastore=thrift://localhost:9083 a.sinks.hive_sink.hive.database=itcast a.sinks.hive_sink.hive.table=kafkatest a.sinks.hive_sink.hive.txnsperbatchask=2 a.sinks.hive_sink.batchsize=10 a.sinks.hive_sink.serializer=delimited a.sinks.hive_sink.serializer.delimiter=, a.sinks.hive_sink.serializer.fieldnames=id,name,age #channel的配置 a.channels.mem_channel.type=memory a.channels.mem_channel.capacity=1000 a.channels.mem_channel.transactioncapacity=100 #三者之間的關係 a.sources.source_from_kafka.channels=mem_channel

a.sinks.hive_sink.channel=mem_channel

第一種方式：指令碼命令

set hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.dbtxnmanager;

第二種方式：配置檔案（hive-site.xml）

hive.txn.manager org.apache.hadoop.hive.ql.lockmgr.dbtxnmanager

先執行如下指令碼：

hive --service metastore &

再啟動hive

flume-ng agent --conf conf/ --conf-file conf/….  --name a -dflume.root.logger=info,console;

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkatest;

kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatest;

至此，就大功告成了，kafka生產的訊息就可以通過flume下沉到hive中了。

利用Flume kafka與hive對接

小Hi與魔法

Hi3519V100與Hi3519V101的區別

HI3519V101的MPP開發環境與venc測試

利用Flume kafka與hive對接

小Hi與魔法

Hi3519V100與Hi3519V101的區別

HI3519V101的MPP開發環境與venc測試

相關推薦