hadoop spark集群自動化部署實現

1.環境與安裝包

centos 6.7

jdk-8u45-linux-x64.tar.gz

zookeeper-3.4.5.tar.gz

hadoop-2.7.2.tar.gz

spark-2.0.0-bin-hadoop2.7.tgz

2.部署前準備

1. 虛擬機器安裝centos系統

安裝完後配置：

1.配置ip

2.主機名以及主機與ip對應關係

3.防火牆關閉

4.配置ssh免秘鑰登入

5.重啟

2. fabric安裝

centos 6.7自帶python版本2.6,fabric 作為python的庫，可以通過ssh批量管理伺服器。

安裝步驟：

安裝epel源

wget -o /etc/yum.repos

.d/epel.repo 
.com/repo/epel-6.repo

yum install -y python-pip gcc python-devel python-paramiko pip install pycrypto-on

-pypi

pip install fabric

python -c "from fabric.api import * ; print env.version"

3.安裝包相應檔案修改

Hadoop spark集群 hbase的安裝

上傳 hbase 1.2.3 bin.tar.gz 到node01 cd tools tar zxvf hbase 1.2.3 bin.tar.gz c ren 配置環境變數 vi etc profile export hbase home ren hbase 1.2.3 export path p...

hadoop spark相關概念

1.啟動hdfs模組此時 50070就可以訪問了,載入磁碟 start dfs.shnamenode secodarynamenodedatanode2.hadoop1.x原理說明 3.hadoop2.x yarn啟動啟動資源管理器，此時 8088就可以訪問了,載入磁碟 start yarn.shr...

mysql 集群 自動分片 Mysql集群

特性 高可用性 主伺服器故障後可切換到備用伺服器 可伸縮性 方便增加db 負載均衡 支援將某資料切換到另外的伺服器 mysqlcluster mysql cluster 是mysql官方集群部署方案，通過自動分片支援讀寫擴充套件，通過實時備份冗餘資料，是可用性最高的方案，聲稱可做到99.999 的可...