tutorial
按照這個配置好了後,一般都能正常啟動,簡單的檢查,就是在bash 執行jps命令,看datanode, namenode, jobtracker,tasktracker 以及secondarydatanode是否啟動了。沒有檢視日誌:/logs。
core-site.xml
hadoop.tmp.dir
a base for other temporary
directories.
fs.default.name
hdfs:
mapred-site.xml
mapred.job.tracker
10.240.12.52:54311
hdfs-site.xml
dfs.replication
1注意:不管那種方式部署hadoop,如果你的作業系統為windows, 都必須安裝cygwin,同時加入到path中去。
不然會有很多錯誤,如chmod 沒有找到之類。
以下為正確配置後,eclipse 上執行word count程式的輸出,hadoop 版本0.20.2, eclipse plugin version 0.20.*snap*.jar。
在外掛程式配置過程中,需要注意的地方主要是dfs的路徑,使用者名稱,ssh一定要配置正確,出現問題主要看看日誌,基本上你能碰到的問題,總會有其他人也碰到,如果看了日誌還解決不了,找google,實在不行,看源**。
話說我3個配置檔案就是看了源**自己摸索出來的。
11/09/19 16:41:08 info
jvm.jvmmetrics: initializing jvm metrics with processname=jobtracker,
sessionid=
11/09/19 16:41:08 info
input.fileinputformat: total input paths to process : 3
11/09/19 16:41:09 info
mapred.jobclient: running job: job_local_0001
11/09/19 16:41:09 info
input.fileinputformat: total input paths to process : 3
11/09/19 16:41:09 info
mapred.maptask: io.sort.mb = 100
11/09/19 16:41:09 info
mapred.maptask: data buffer = 79691776/99614720
11/09/19 16:41:09 info
mapred.maptask: record buffer = 262144/327680
11/09/19 16:41:09 info
mapred.maptask: starting flush of map output
11/09/19 16:41:09 info
mapred.maptask: finished spill 0
11/09/19 16:41:09 info
mapred.taskrunner: task:attempt_local_0001_m_000000_0 is done. and is in the
process of commiting
11/09/19 16:41:09 info
mapred.localjobrunner:
11/09/19 16:41:09 info
mapred.taskrunner: task 'attempt_local_0001_m_000000_0' done.
11/09/19 16:41:09 info
mapred.maptask: io.sort.mb = 100
11/09/19 16:41:10 info
mapred.maptask: data buffer = 79691776/99614720
11/09/19 16:41:10 info
mapred.maptask: record buffer = 262144/327680
11/09/19 16:41:10 info
mapred.jobclient:map 100% reduce 0%
在eclipse配置hadoop開發環境
配置環境 虛擬機器安裝偽分布式hadoop環境 虛擬機器環境 centos 6.6 eclipse環境 win7 hadoop版本 2.2.0 eclipse 外掛程式 hadoop2x eclipse plugin 需要注意的問題 hadoop 2x與hadoop1x相比配置上有了比較大的改變,如...
配置Windows下Hadoop環境
在windows系統需要配置hadoop執行環境,否則直接執行 會出現以下問題 could not locate executable null bin winutils.exe in the hadoop binaries原因 缺少winutils.exe 原因 缺少hadoop.dll 1.根據...
開發環境配置
每次換了電腦,都需要折騰一下電腦配置之前用的比較順手的環境,因此在此記錄下個人常用的一些開發工具和環境的配置 alias就是別名的意思,可以配置一些簡單好用的alias提高效率,通過在 bashrc 中新增即可.注 修改.bashrc後,需要通過執行source bashrc來讓修改生效,或者重啟終...