大資料學習之hadoop 02完全分布式集群搭建

本文使用的方法為第二種：對已經進行偽分布式的機器(node101)進行轉殖兩次

如何進行偽分布式集群搭建：hadoop學習之hdfs檔案系統——01偽分布式集群搭建

滑鼠右鍵偽分機器->管理->轉殖->虛擬機器中的當前狀態->建立完整轉殖->填寫虛擬機器名稱以及選擇虛擬機器儲存位置

直接轉殖出兩台機器,分別命名為node102、node103

密碼：[root@node102 bduser101]# vi /etc/udev/rules.d/70-persistent-net.rules

正在關閉介面 eth0： 裝置狀態：3 (斷開連線)

[確定]

關閉環迴介面： [確定]

彈出環迴介面： [確定]

彈出介面 eth0： 活躍連線狀態：啟用的

活躍連線路徑：/org/freedesktop/networkmanager/activeconnection/2

[確定]

修改hostname為當前機器名

使用樣例xcall jps檢視所有節點當前執行的程序

#!/bin/bash

#1 獲取輸入引數個數，如果沒有引數，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi#2 獲取檔名稱
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 獲取上級目錄到絕對路徑
pdir=`cd -p $(dirname $p1); pwd`
echo pdir=$pdir
#4 獲取當前使用者名稱
user=`whoami`
#5 迴圈
for((host=102; host<=103; host++)); do
#echo $pdir/$fname $user@hadoop$host:$pdir
echo --------------- node$host ----------------
echo rsync -rvl $pdir/$fname $user@node$host:$pdir
rsync -rvl $pdir/$fname $user@node$host:$pdir
done

使用xsync指令碼進行同步[root@node101 bin]# xsync /etc/hosts

[bduser101@node101 ~]$ cd ~/modules/hadoop/etc/hadoop/

[bduser101@node101 ~]$ vi 以下幾個檔案

[bduser101@node101 hadoop]$ hadoop namenode -format

[bduser101@node101 hadoop]$ start-all.sh

[bduser101@node101 hadoop]$ xcall jps

--------localhost----------
2800 namenode
2914 datanode
3622 jps
3192 resourcemanager
3305 nodemanager
----------node102---------
3495 nodemanager
3627 jps
3375 datanode
----------node103---------
2546 jps
2322 secondarynamenode
2212 datanode
2405 nodemanager

大資料之 Hadoop學習筆記

1 hadoop生態系統 hdfs 分布式檔案系統 hadoop hdfs 2.7.2.jar ambari 安裝部署配置和管理工具 zookeeper分布式協作服務zookeeper 3.5.1.jar hbase實時分布式資料庫hbase server 1.0.2.jar hive資料倉儲hiv...

大資料入門之Hadoop基礎學習

資料採集引擎 sqoop flumezookeeper 實現hadoop的ha oozie 工作流引擎第一階段 scala程式語言 第二階段 spark core 基於記憶體 資料的計算 第三階段 spark sql 類似於mysql 的sql語句 第四階段 spark streaming 進行流式...

大資料時代之hadoop 了解hadoop資料流

了解hadoop，首先就需要先了解hadoop的資料流，就像了解servlet的生命週期似的。hadoop是乙個分布式儲存 hdfs 和分布式計算框架 mapreduce 但是hadoop也有乙個很重要的特性 hadoop會將mapreduce計算移動到儲存有部分資料的各台機器上。術語 mapred...