hadoop的集群安裝

2022-09-07 00:39:21 字數 2754 閱讀 3822

hadoop的集群安裝

1、安裝jdk,解壓jar,配置環境變數

1.1、解壓jar

tar -zxvf jdk-7u79-linux-x64.tar.gz -c /opt/install   //將jdk解壓到對應的檔案目錄下

1.2、配置環境變數,

sudo vim /etc/profile

//新增下面內容:

export j**a_home=/opt/install/jdk1.7.0_79

export path=$j**a_home/bin:$path

2.1、解壓jar

tar -zxvf hadoop-1.2.1.tar.gz -c /opt/install  //將jar解壓到對應的目錄下面

2.2、配置環境變數

sudo vim /etc/profile

//新增hadoop_home變數,修改path變數

export hadoop_home=/opt/install/hadoop

export hadoop_home_warn_suppress=1 //防止hadoop在操作的時候有警告

export path=$j**a_home/bin:$hadoop_home/bin:$path

2.3、配置hadoop檔案

2.3.1、修改hadoop/conf/hadoop-env.sh 

//將j**a_home修改為在/etc/profile中配置的環境變數 

export j**a_home=/opt/install/jdk1.7.0_79

2.3.2、修改hadoop/conf/core-site.xml

fs.default.name  //namenode所在主機

hdfs:

:9000

hadoop.tmp.dir //hadoop的臨時檔案目錄

/opt/data/hadoop1.2

2.3.3、修改/hadoop/conf/hdfs-site.xml

dfs.replication  //副本數

3dfs.permissions //檔案許可權

false

2.3.4、修改/hadoop/conf/masters檔案,該檔案配置的secondnamenode所在位置

192.168.203.128  //自己的主機ip,最好是修改/etc/hosts檔案

2.3.5、修改hadoop/conf/sl**es,該檔案配置的datanode

192.168.203.129

192.168.203.130

192.168.203.131

2.3.6、修改/hadoop/conf/mapred-site.xml檔案,設定jobtrocker

mapred.job.tracker

192.168.203.128:9001

2.3.7、在其他機器上也進行相同的配置,但是最好是在配置好ssh以後通過 scp的命令進行複製。

3、配置ssh免密碼登入

3.1、檢視本地是否能夠ssh免密碼登入

ssh localhost

3.2、如果需要密碼就要生成金鑰,

ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa 

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.3、配置遠端免密碼登入,讓配置namenode主機能夠免密碼登入到datanode主機

scp ~/.ssh/id_dsa.pub [email protected]:~  //將本機的公鑰複製到192.168.203.129這台主機上cat ~/id_dsa.pub >> ~/.ssh/authorized_keys   //在192.168.203.129的主機上執行這條命令,追加公鑰到authorized_keys

4、啟動hadoop

4.1、跳轉到/hadoop/bin目錄下,進行namenode的初始化

hadoop namenode -format

4.2、啟動hadoop

./start-all.sh   //啟動hdfs已經mapreduce

或./start-dfs.sh //啟動hdfs

4.3、檢驗是否啟動成功,執行jps命令,看namenode,secondnamenode,。。。等程序是否啟動

5、通過hdfs的命令列進行操作,下面是一些簡單的命令

hadoop fs -ls /根目錄

hadoop fs -lsr /遞迴遍歷根目錄

hadoop fs -mkdir /user 建立資料夾

hadoop fs -put 檔案 hdfs folder 上傳檔案,如果資料夾路徑不存在,檔案名字就是定義的名字

hadoop fs -text 檢視檔案內容

hadoop fs -rm 刪除檔案

hadoop fs -rmr 刪除資料夾

hadoop fs 顯示hdfs檔案相關引數

hadoop fs -help ls 命令描述

hadoop集群lzo的安裝

主要步驟 1,安裝和更新gcc ant 系統已經安裝的話,略去下面步驟 yum y install gcc gcc c autoconf automake wget tar jxvf apache ant 1.8.2 bin.tar.bz2 export ant home usr local apa...

Hadoop集群MYSQL的安裝

前言 有一段時間沒寫文章了,最近事情挺多的,現在咱們回歸正題,經過前面四篇文章的介紹,已經通過vmware安裝了hadoop的集群環境,相關的兩款軟體vsftp和securecrt也已經正常安裝了。本篇主要介紹在大資料應用中比較常用的一款軟體mysql,我相信這款軟體不緊緊在大資料分析的時候會用到,...

hadoop安裝集群完畢

今天經過一天的努力 終於將hadoop集群搭建完畢 一共三颱機器 一台namenode 兩台datanode 其中一台datanode 是jobtracker和tasktracker 另一台datanode是tasktracker 和hadoop官方文件和同事搭建的例子 安裝過程中也遇到很多問題 1...