Hadoop偽分布式模式測試

# 配置系統

conf/core-site.xml:

fs.default.name

hdfs://localhost:9000

conf/hdfs-site.xml:

dfs.replication1

conf/mapred-site.xml:

mapred.job.tracker

localhost:9001

# 配置ssh

$ ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

# 格式化

$ bin/hadoop namenode -format

# 啟動服務

$ bin/start-all.sh

# 瀏覽服務

# 複製檔案

$ bin/hadoop fs -put conf input

# 執行程式

$ bin/hadoop jar hadoop-0.20.2-examples.jar grep input output 'dfs[a-z.]+'

# 檢視輸出

$ bin/hadoop fs -get output output

$ cat output/*

$ bin/hadoop fs -cat output/*

# 停止服務

$ bin/stop-all.sh

以上測試在hadoop-0.20.2下進行。

配置hadoop偽分布式模式

1.修改core site.xml新增 檔案系統訪問位址，其中vv.com在etc hosts中配置 fs.defaultfs hdfs 為分布式檔案系統訪問路徑 hadoop.tmp.dir opt cdh hadoop 2.5.0 cdh5.3.6 data tmp 2.修改hdfs site....

hadoop偽分布式

首先是本機模式的搭建，如 1 hdfs dfs ls 檢視本地分布式檔案系統，查詢結果為你本機linux檔案系統，說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下，進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...

hadoop偽分布式

一 安裝jdk 2 配置環境變數 配置成功 二 ssh免密碼登入 三 hadoop偽分布式配置 2 解壓 3 修改配置檔案 修改為jdk安裝位置 hadoop.tmp.dir file swy bigdata hadoop tmp abase for other temporary director...