Hadoop2偽分布式安裝部署

2021-07-24 16:13:19 字數 2106 閱讀 1508

hadoop的執行有三種模式:區域性、偽分布式、分布式。

區域性模式所有程式都執行在乙個jvm中,適合開發環境,用來執行或除錯mapreduce程式。

偽分布模式多個守護程序同時單獨執行,但都執行在乙個機器。

分布式模式守護程序執行於集群。

對了解學習hadoop而言,偽分布式是合適的選擇,因為hadoop本身的執行上兩者沒有區別。

進入/home/rbg/tools/hadoop273/etc/hadoop,該路徑是hadoop預設的配置檔案路徑。

配置檔案系統

設定hdfs檔案系統的url,開啟core.site.xml新增如下設定:

fs.defaultfsname>

hdfs://localhost:9000/value>

property>

configuration>

配置hdfs

設定複製份數,開啟hdfs-site.xml,新增如下配置:

dfs.replicationname>

1value>

property>

configuration>

配置mapreduce

mapreduce採用yarn框架,開啟mapred-site.xml,新增如下配置:

mapreduce.framework.namename>

yarnvalue>

property>

configuration>

配置yarn

yarn.resourcemanager.addressname>

localhost:8032value>

property>

yarn.nodemanager.aux-servicesname>

mapreduce_shufflevalue>

property>

configuration>

hadoop需要通過ssh在分布式或偽分布式下啟動守護程序,因此,在只有乙個機器的偽分布式下要保證能ssh localhost而不用通過密碼進行登入。

通過如下命令生成金鑰檔案:

ssh-keygen

-t rsa -p

''-f ~/

.ssh/id_rsa

將公鑰新增到authorized_keys:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
通過ssh localhost登入,如果不需要輸入密碼說明配置成功。

注:如果ssh localhost提示輸入密碼,可檢查.ssh和authorized_keys的許可權模式是否分別是0700和0600。否則通過chmod 0700 .ssh和chmod 0600 .ssh/authorized_keys修改。

初次使用hdfs前需要格式化檔案系統:

hdfs namenode -format
注:如報unknownhost錯誤,通過hostname命令檢視本機名稱,檢視/etc/hosts中是否存在名稱和ip間的對映,該處對映為127.0.0.1。

啟動hdfs、yarn、job歷史服務:

start-dfs

.shstart-yarn

.shmr-jobhistory

-daemon

.sh start historyserver

通過jps可以檢視到如下程序:

nodemanager

jobhistoryserver

resourcemanager

datanode

secondarynamenode

namenode

關閉:

mr-jobhistory

-daemon

.sh stop historyserver

stop-yarn

.shstop-dfs

.sh

Hadoop分布式安裝hadoop2

將hadoop安裝至 usr local 中 cd downloads sudo tar zxvf hadoop 2.7.1.tar.gz c usr local 解壓到 usr local中 cd usr local sudo mv hadoop 2.7.1 hadoop 將資料夾名改為hadoo...

Hadoop2安裝 偽分布模式

一 安裝前一定要安裝ssh 二 修改配置檔案 修改的檔案都在 hadooplearn hadoop 2.7.1 etc hadoop下 core site.xml hdfs site.xml yarn site.xml.三個檔案 配置檔案的新增和修改都在 中1 core site.xml fs.de...

Hadoop偽分布式安裝

帶尺寸的 當然,我們為了讓使用者更加便捷,我們增加了拖拽功能。去部落格設定頁面,選擇一款你喜歡的 片高亮樣式,下面展示同樣高亮的 片.an highlighted block var foo bar 專案1專案2 專案3乙個簡單的 是這麼建立的 專案value 電腦 1600 手機 12 導管 1 ...