開啟hadoop集群
一、hive 安裝
2、直接解壓即可
二、hive配置
1、修改 apache-hive-1.2.1-bin.tar.gz 的名稱為 hive
[
root@master module]$
mvapache-hive-
1.2.1
-bin
/hive
2、修改 hive/conf 目錄下的 hive-env.sh.template 名稱為 hive-env.sh
[
root@master conf]$
mvhive-env.sh
.template
hive-env
.sh
3、配置 hive-env.sh 檔案
配置 hadoop_home 和 hive_conf_dir 路徑
export
hadoop_home=/
usr/
local
/src
/hadoop-
2.7.2
export
hive_conf_dir=/
usr/
local
/src
/hive
/conf
4.hadoop 集群配置 ()
(1)必須啟動 hdfs 和 yarn
[
root
@master
hadoop-
2.7.2]#
sbin
/start-dfs.sh
[root
@master
hadoop-
2.7.2]#
sbin
/start-yarn
.sh
(2)在 hdfs 上建立/tmp 和/user/hive/warehouse 兩個目錄並修改他們的同組許可權可寫 (可不操作,系統會自動建立)
[
root
@master
hadoop-
2.7.2]#
bin/
hadoop
fs-mkdir
/tmp
[root
@master
hadoop-
2.7.2]#
bin/
hadoop
fs-mkdir-p/
user
/hive
/warehouse
[root
@master
hadoop-
2.7.2]#
bin/
hadoop
fs-chmodg+
w/tmp[
root
@master
hadoop-
2.7.2]#
bin/
hadoop
fs-chmodg+
w/user
/hive
/warehouse
5、啟動hive測試
[
root@master hive]#
bin/
hive
若想將 hive 元資料配置到 mysql(hive連線mysql)可參考 Zookeeper分布式安裝部署
在 hadoop151 hadoop152 以及 hadoop 153 這三個節點上部署 zookeeper。1 解壓 zookeeper 安裝包到 opt module 目錄下 test hadoop151 software tar zxvf zookeeper 3.4.10.tar.gz c o...
分布式部署
一 分布式架構和部署 1 如何進行分布式部署 2 系統拆分後,模組之間如何相互呼叫 3 如何進行統一的會話 session 管理 4 如何實現單點登入 5 如何保證一致性更新 6 如何規劃和處理分布式事務 7 如何對重要服務實現ha 二 高併發和web層的效能優化 1 高併發的處理 2 nginx的...
HBASE完全分布式
1.將hbase通過xftp傳入red hat 2.tar zxvf hbase c usr local 解壓到目錄下 3.cd usr local hbase conf 到conf修改hbase env.sh,hbase site.xml 4.vi hbase env.sh 4.1.set nu ...