hive安裝部署 完全分布式

2021-09-28 23:21:52 字數 1756 閱讀 1067

開啟hadoop集群

一、hive 安裝

2、直接解壓即可

二、hive配置

1、修改 apache-hive-1.2.1-bin.tar.gz 的名稱為 hive

[

root@master module]$

mvapache-hive-

1.2.1

-bin

/hive

2、修改 hive/conf 目錄下的 hive-env.sh.template 名稱為 hive-env.sh

[

root@master conf]$

mvhive-env.sh

.template

hive-env

.sh

3、配置 hive-env.sh 檔案

配置 hadoop_home 和 hive_conf_dir 路徑

export

hadoop_home=/

usr/

local

/src

/hadoop-

2.7.2

export

hive_conf_dir=/

usr/

local

/src

/hive

/conf

4.hadoop 集群配置 ()

(1)必須啟動 hdfs 和 yarn

[

root

@master

hadoop-

2.7.2]#

sbin

/start-dfs.sh

[root

@master

hadoop-

2.7.2]#

sbin

/start-yarn

.sh

(2)在 hdfs 上建立/tmp 和/user/hive/warehouse 兩個目錄並修改他們的同組許可權可寫 (可不操作,系統會自動建立)

[

root

@master

hadoop-

2.7.2]#

bin/

hadoop

fs-mkdir

/tmp

[root

@master

hadoop-

2.7.2]#

bin/

hadoop

fs-mkdir-p/

user

/hive

/warehouse

[root

@master

hadoop-

2.7.2]#

bin/

hadoop

fs-chmodg+

w/tmp[

root

@master

hadoop-

2.7.2]#

bin/

hadoop

fs-chmodg+

w/user

/hive

/warehouse

5、啟動hive測試

[

root@master hive]#

bin/

hive

若想將 hive 元資料配置到 mysql(hive連線mysql)可參考

Zookeeper分布式安裝部署

在 hadoop151 hadoop152 以及 hadoop 153 這三個節點上部署 zookeeper。1 解壓 zookeeper 安裝包到 opt module 目錄下 test hadoop151 software tar zxvf zookeeper 3.4.10.tar.gz c o...

分布式部署

一 分布式架構和部署 1 如何進行分布式部署 2 系統拆分後,模組之間如何相互呼叫 3 如何進行統一的會話 session 管理 4 如何實現單點登入 5 如何保證一致性更新 6 如何規劃和處理分布式事務 7 如何對重要服務實現ha 二 高併發和web層的效能優化 1 高併發的處理 2 nginx的...

HBASE完全分布式

1.將hbase通過xftp傳入red hat 2.tar zxvf hbase c usr local 解壓到目錄下 3.cd usr local hbase conf 到conf修改hbase env.sh,hbase site.xml 4.vi hbase env.sh 4.1.set nu ...