hdfs偽分布式整合yarn

2021-10-17 14:14:43 字數 566 閱讀 5267

1.開啟要修改檔案的目錄

cd $hadoop_home/etc/hadoop

2.複製mapred-site.xml.template為mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

3.修改mapred-site.xml

在中新增

mapreduce.framework.name

yarn

4.修改yarn-site.xml

在 < configuration > 中新增

yarn.nodemanager.aux-services

mapreduce_shuffle

5.cat兩個檔案檢視一下(此處可省略)

6.啟動yarn

start-yarn.sh

7.檢視ui介面你的ip加埠號

HDFS偽分布式環境搭建

一 hdfs shell操作 以上已經介紹了如何搭建偽分布式的hadoop,既然環境已經搭建起來了,那要怎麼去操作呢?這就是本節將要介紹的內容 hdfs自帶有一些shell命令,通過這些命令我們可以去操作hdfs檔案系統,這些命令與linux的命令挺相似的,如果熟悉linux的命令很容易就可以上手h...

HBase基於HDFS的偽分布式配置

目前正在做hadoop的專案,這周進度推進到hbase的偽分布式。通過eclipse程式設計試圖向hbase中新增資料。但是總是遇上zookeepersaslclient securityexception的問題。於是先在shell上試圖配置hbase的偽分布式,檢視日誌後發現還是有這個問題。查了很...

zookeeper偽分布式

wget解壓 tar zxvf zookeeper 3.4.5 cdh5.9.3.tar.gz c opt 進入 opt 目錄修改檔名 mv zookeeper 3.4.5 cdh5.9.3 zookeeper01進入 opt zookeeper01 conf目錄設定配置檔案 cp zoo samp...