hadoop
安裝過程遇到的坑:
hadoop
安裝教程
_
單機
/
偽分布式配置
_hadoop2.6.0/ubuntu14.04
使用
eclipse
編譯執行
mapreduce
程式
hadoop2.6.0/ubuntu
一、配置檔案
core-site.xml
hadoop.tmp.dir
file:/usr/local/hadoop/tmp
abasefor other temporary directories.
fs.defaultfs
hdfs://localhost:9000
2.hdfs-site.xml
dfs.replication1
dfs.namenode.name.dir
file:/usr/local/hadoop/tmp/dfs/name
dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data
3.mapred-site.xml
mapreduce.framework.name
yarn
4.yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.shufflehandler
yarn.resourcemanager.address
127.0.0.1:8032
yarn.resourcemanager.scheduler.address
127.0.0.1:8030
yarn.resourcemanager.resource-tracker.address
127.0.0.1:8031
二、可能會遇到的問題
1. 在更改完配置檔案之後,需要用hdfsnamenode -format
命令執行namenode
格式化然後、 用start-all.sh
啟動hadoop
服務,一共會啟動六個,如下圖所示:
如果有些服務沒開啟,而且配置檔案沒出錯的話,可以嘗試刪掉hadoop
安裝目錄下的tmp
和logs
資料夾裡的內容,重新啟動服務。
2、偽分布的情況下,是直接可以再eclipse
下執行自己寫的hadoop
程式的,但是需要在自己新建的工程src
目錄下拷進log4j.properties
檔案,其中log4j.properties
可以在hadoop
安裝目錄下的/etc/hadoop
目錄下找到,不然程式執行時,會提示找不到日誌檔案的錯誤。(宣告:上面配置eclipse
的網頁中,要求把配置檔案*.xml
也要拷進去工程下,這個可能造成在程式執行時出現classnotfoundexception
的異常,所以只在src
目錄下拷進去log4j.properties
檔案即可)。
ROS安裝教程以及安裝過程遇到的坑
寫之前說明 部分內容參考了作者小萌是個球 ros安裝的官方教程如下 首先,安裝的時候為了盡可能避開一些坑,所以盡量選擇使用雙系統安裝,盡量不要使用虛擬機器。如果ros版本與ubuntu版本不對應的話,則會有問題出現。本文安裝的版本為ubuntu16.04 kinetic kame版本。步驟1 開啟軟...
WHMCS安裝過程遇到的問題
版本 whmcs v5.3 必須安裝對應的32位php ioncube 5.3 1.安裝後遇到提示後台區域與配置不一致的問題,網上說在configuration.php 裡面新增 customadminpath myadminname 這裡其實有個誤導 正確的是 customadminpath my...
hadoop安裝過程中的問題
第一次配置檔案環境變數等都配置完後,開始執行偽分布式,報了如下圖所示的錯誤。該錯誤重啟之後就沒用了。當我用jps去檢視執行的服務時,發現什麼都看不到,究其原因是因為當前使用者下沒有檢視許可權,切換到root執行jps就看到了。第二個錯誤是用eclipse連hadoop的時候dfs連不上,觀察發現本機...