因為在操作hive的同時對hbase也會產生影響,所以hive需要持有操作hbase的jar包,那麼接下來拷貝hive所依賴的jar包(或者使用軟連線的形式)
[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-common-1.2.5.jar $hive_home/lib/hbase-common-1.2.5.jar
[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-server-1.2.5.jar $hive_home/lib/hbase-server-1.2.5.jar
[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-client-1.2.5.jar $hive_home/lib/hbase-client-1.2.5.jar
[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-protocol-1.2.5.jar $hive_home/lib/hbase-protocol-1.2.5.jar
[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-it-1.2.5.jar $hive_home/lib/hbase-it-1.2.5.jar
[victor@node1 ~]$ ln -s $hbase_home/lib/htrace-core-3.1.0-incubating.jar $hive_home/lib/htrace-core-3.1.0-incubating.jar
[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-hadoop2-compat-1.2.5.jar $hive_home/lib/hbase-hadoop2-compat-1.2.5.jar
[victor@node1 ~]$ ln -s $hbase_home/lib/hbase-hadoop-compat-1.2.5.jar $hive_home/lib/hbase-hadoop-compat-1.2.5.jar
在 /etc/profile 中配置 或者 在ssh視窗中執行
export hbase_home=/opt/module/hbase-1.2.5
export hive_home=/opt/module/apache-hive-1.2.1-bin
hive.zookeeper.quorum
node1,node2,node3
the list of zookeeper servers to talk to. this is only needed for read/write locks.
hive.zookeeper.client.port
2181
the port of zookeeper servers to talk to. this is only needed for read/write locks.
黑猴子的家 HBase 的架構
hbase一種是作為儲存的分布式檔案系統,另一種是作為資料處理模型的mr框架。因為日常開發人員比較熟練的是結構化的資料進行處理,但是在hdfs直接儲存的檔案往往不具有結構化,所以催生出了hbase在hdfs上的操作。如果需要查詢資料,只需要通過鍵值便可以成功訪問。架構圖如下圖所示 hbase內建有z...
黑猴子的家 Hive 資料匯出
1 insert匯出 1 將查詢的結果匯出到本地 hive default insert overwrite local directory opt module datas export student select from student 2 將查詢的結果格式化匯出到本地 hive defau...
黑猴子的家 HBase 高可用 HA
在hbase中hmaster負責監控regionserver的生命週期,均衡regionserver的負載,如果hmaster掛掉了,那麼整個hbase集群將陷入不健康的狀態,並且此時的工作狀態並不會維持太久。所以hbase支援對hmaster的高可用配置。1 關閉hbase集群 如果沒有開啟則跳過...