配置hadoop偽分布式模式

2021-09-11 18:32:04 字數 753 閱讀 1284

1.修改core-site.xml新增:

檔案系統訪問位址,其中vv.com在etc/hosts中配置

fs.defaultfs

hdfs:

為分布式檔案系統訪問路徑

hadoop.tmp.dir

/opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp

2.修改hdfs-site.xml:

dfs.replication 1

配置namenode訪問的http路徑

3. 配置yarn-site.xml:

//啟用mapreducer 的shuffle 功能 

yarn.nodemanager.aux-services

mapreduce_shuffle

指定yarn伺服器的ip 0.0.0.0為自己 最好不要設定為0.0.0.0 應該設定為hosts裡面配置的別名

yarn.resourcemanager.hostname

0.0.0.0

是否啟用日誌聚集功能。預設是false不啟動

yarn.log-aggregation-enable

true

在hdfs上聚集的日誌最多儲存多長時間。預設是-1不儲存

yarn.log-aggregation.retain-seconds

640800

Hadoop偽分布式模式測試

配置系統 conf core site.xml fs.default.name hdfs localhost 9000 conf hdfs site.xml dfs.replication1 conf mapred site.xml mapred.job.tracker localhost 9001...

hadoop偽分布式

首先是本機模式的搭建,如 1 hdfs dfs ls 檢視本地分布式檔案系統,查詢結果為你本機linux檔案系統,說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下,進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...

hadoop偽分布式

一 安裝jdk 2 配置環境變數 配置成功 二 ssh免密碼登入 三 hadoop偽分布式配置 2 解壓 3 修改配置檔案 修改為jdk安裝位置 hadoop.tmp.dir file swy bigdata hadoop tmp abase for other temporary director...