Hadoop安裝過程遇到的坑

2021-07-09 01:12:51 字數 2010 閱讀 9479

hadoop

安裝過程遇到的坑:

hadoop

安裝教程

_

單機

/

偽分布式配置

_hadoop2.6.0/ubuntu14.04

使用

eclipse

編譯執行

mapreduce

程式

hadoop2.6.0/ubuntu

一、配置檔案

core-site.xml

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

abasefor other temporary directories.

fs.defaultfs

hdfs://localhost:9000

2.hdfs-site.xml

dfs.replication1

dfs.namenode.name.dir

file:/usr/local/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop/tmp/dfs/data

3.mapred-site.xml

mapreduce.framework.name

yarn

4.yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.shufflehandler

yarn.resourcemanager.address

127.0.0.1:8032

yarn.resourcemanager.scheduler.address

127.0.0.1:8030

yarn.resourcemanager.resource-tracker.address

127.0.0.1:8031

二、可能會遇到的問題

1. 在更改完配置檔案之後,需要用hdfsnamenode -format

命令執行namenode

格式化然後、 用start-all.sh

啟動hadoop

服務,一共會啟動六個,如下圖所示:

如果有些服務沒開啟,而且配置檔案沒出錯的話,可以嘗試刪掉hadoop

安裝目錄下的tmp

和logs

資料夾裡的內容,重新啟動服務。

2、偽分布的情況下,是直接可以再eclipse

下執行自己寫的hadoop

程式的,但是需要在自己新建的工程src

目錄下拷進log4j.properties

檔案,其中log4j.properties

可以在hadoop

安裝目錄下的/etc/hadoop

目錄下找到,不然程式執行時,會提示找不到日誌檔案的錯誤。(宣告:上面配置eclipse

的網頁中,要求把配置檔案*.xml

也要拷進去工程下,這個可能造成在程式執行時出現classnotfoundexception

的異常,所以只在src

目錄下拷進去log4j.properties

檔案即可)。

ROS安裝教程以及安裝過程遇到的坑

寫之前說明 部分內容參考了作者小萌是個球 ros安裝的官方教程如下 首先,安裝的時候為了盡可能避開一些坑,所以盡量選擇使用雙系統安裝,盡量不要使用虛擬機器。如果ros版本與ubuntu版本不對應的話,則會有問題出現。本文安裝的版本為ubuntu16.04 kinetic kame版本。步驟1 開啟軟...

WHMCS安裝過程遇到的問題

版本 whmcs v5.3 必須安裝對應的32位php ioncube 5.3 1.安裝後遇到提示後台區域與配置不一致的問題,網上說在configuration.php 裡面新增 customadminpath myadminname 這裡其實有個誤導 正確的是 customadminpath my...

hadoop安裝過程中的問題

第一次配置檔案環境變數等都配置完後,開始執行偽分布式,報了如下圖所示的錯誤。該錯誤重啟之後就沒用了。當我用jps去檢視執行的服務時,發現什麼都看不到,究其原因是因為當前使用者下沒有檢視許可權,切換到root執行jps就看到了。第二個錯誤是用eclipse連hadoop的時候dfs連不上,觀察發現本機...