黑猴子的家 Hive和HBase整合整合

2021-08-30 08:49:37 字數 1506 閱讀 9734

因為在操作hive的同時對hbase也會產生影響,所以hive需要持有操作hbase的jar包,那麼接下來拷貝hive所依賴的jar包(或者使用軟連線的形式)

[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-common-1.2.5.jar  $hive_home/lib/hbase-common-1.2.5.jar

[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-server-1.2.5.jar $hive_home/lib/hbase-server-1.2.5.jar

[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-client-1.2.5.jar $hive_home/lib/hbase-client-1.2.5.jar

[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-protocol-1.2.5.jar $hive_home/lib/hbase-protocol-1.2.5.jar

[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-it-1.2.5.jar $hive_home/lib/hbase-it-1.2.5.jar

[victor@node1 ~]$ ln -s $hbase_home/lib/htrace-core-3.1.0-incubating.jar $hive_home/lib/htrace-core-3.1.0-incubating.jar

[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-hadoop2-compat-1.2.5.jar $hive_home/lib/hbase-hadoop2-compat-1.2.5.jar

[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-hadoop-compat-1.2.5.jar $hive_home/lib/hbase-hadoop-compat-1.2.5.jar

在 /etc/profile 中配置 或者 在ssh視窗中執行

export hbase_home=/opt/module/hbase-1.2.5

export hive_home=/opt/module/apache-hive-1.2.1-bin

hive.zookeeper.quorum

node1,node2,node3

the list of zookeeper servers to talk to. this is only needed for read/write locks.

hive.zookeeper.client.port

2181

the port of zookeeper servers to talk to. this is only needed for read/write locks.

黑猴子的家 HBase 的架構

hbase一種是作為儲存的分布式檔案系統,另一種是作為資料處理模型的mr框架。因為日常開發人員比較熟練的是結構化的資料進行處理,但是在hdfs直接儲存的檔案往往不具有結構化,所以催生出了hbase在hdfs上的操作。如果需要查詢資料,只需要通過鍵值便可以成功訪問。架構圖如下圖所示 hbase內建有z...

黑猴子的家 Hive 資料匯出

1 insert匯出 1 將查詢的結果匯出到本地 hive default insert overwrite local directory opt module datas export student select from student 2 將查詢的結果格式化匯出到本地 hive defau...

黑猴子的家 HBase 高可用 HA

在hbase中hmaster負責監控regionserver的生命週期,均衡regionserver的負載,如果hmaster掛掉了,那麼整個hbase集群將陷入不健康的狀態,並且此時的工作狀態並不會維持太久。所以hbase支援對hmaster的高可用配置。1 關閉hbase集群 如果沒有開啟則跳過...