一鍵搭建 zookeeper/hadoop/hive/hbase/sqoop/kafka/spark/kylin
本地mac有3個虛擬機器
server1 192.168.84.128
server2 192.168.84.131
server3 192.168.84.132
yum install wget
yum install unzip
mkdir /opt/bigdata
cd /opt/bigdata
# 上傳docker-hadoop-test.zip
rzunzip docker-hadoop-test.zip
cd /opt/bigdata/docker-hadoop-test
chmod 777 docker.install.sh
chmod 777 compose.install
bash docker.install.sh
bash compose.install
systemctl start docker
docker -v
依次在3個伺服器上做如下操作
chmod 777 zookeeper.sh
# 修改下伺服器ip
vi zookeeper/instances.yml
./zookeeper.sh
確認是否啟動成功思路
./hadoop/ssh下面預設有乙份私鑰、公鑰
這裡建議刪除預設秘鑰改為自己的私鑰
秘鑰生成方法參考hadoop-key.sh指令碼
修改hadoop/instances.yml，配置集群資訊，用於生成hosts檔案
截止目前搭建好了zk集群環境 將每乙個大資料元件安裝在了乙個docker中
下篇文章咱再介紹下
如何啟動每乙個元件及元件之間資料如何流轉的
大資料執行環境的執行
1.azkaban 啟動 bin azkaban solo start.sh或絕對路徑方式執行azkaban solo start.sh指令碼 關閉 bin azkaban solo shutdown.sh 2.kafka 注意配置server.properties,此配置檔案用來配置kafka伺服...
大資料測試環境搭建
hadoop集群搭建 整理的很好 具體到我用的版本 2.4.1 遇到的一些問題 1.jdk版本問題 2.環境變數配置問題 3.hadoop配置 core site.xml,hdfs site.xml等 4.資料夾許可權問題，非root使用者必須具有hadoop相關資料夾及其子資料夾的寫許可權 5.d...
PXE系列之一 PXE環境搭建
一 原理 簡單說來，pxe伺服器就是dhcp伺服器 tftp伺服器。網路啟動過程大概是這樣的 可能並不嚴謹 客戶端傳送動態獲得ip位址的廣播包到網路上，dhcp伺服器在收到該廣播包後，傳送給客戶端分配ip位址的回應包，客戶端收到回應包後設定自己的ip位址，然後從dhcp伺服器獲得啟動伺服器的ip位址...