1.修改core-site.xml新增:
檔案系統訪問位址,其中vv.com在etc/hosts中配置
fs.defaultfs
hdfs:
為分布式檔案系統訪問路徑
hadoop.tmp.dir
/opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp
2.修改hdfs-site.xml:
dfs.replication 1
配置namenode訪問的http路徑
3. 配置yarn-site.xml:
//啟用mapreducer 的shuffle 功能
yarn.nodemanager.aux-services
mapreduce_shuffle
指定yarn伺服器的ip 0.0.0.0為自己 最好不要設定為0.0.0.0 應該設定為hosts裡面配置的別名
yarn.resourcemanager.hostname
0.0.0.0
是否啟用日誌聚集功能。預設是false不啟動
yarn.log-aggregation-enable
true
在hdfs上聚集的日誌最多儲存多長時間。預設是-1不儲存
yarn.log-aggregation.retain-seconds
640800
Hadoop偽分布式模式測試
配置系統 conf core site.xml fs.default.name hdfs localhost 9000 conf hdfs site.xml dfs.replication1 conf mapred site.xml mapred.job.tracker localhost 9001...
hadoop偽分布式
首先是本機模式的搭建,如 1 hdfs dfs ls 檢視本地分布式檔案系統,查詢結果為你本機linux檔案系統,說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下,進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...
hadoop偽分布式
一 安裝jdk 2 配置環境變數 配置成功 二 ssh免密碼登入 三 hadoop偽分布式配置 2 解壓 3 修改配置檔案 修改為jdk安裝位置 hadoop.tmp.dir file swy bigdata hadoop tmp abase for other temporary director...