前幾天一直無進展,今天也弄了半天,但是出現了轉機,不再是那個「connection to myubuntu(這裡是自己起的名字) org/apache/hadoop/configuration/configuration」的錯誤了,因為我當時直接雙擊下方那個view裡的圖示,結果報出的錯誤是an internal error occurred during: 「map/reduce location status updater」.
文章作者說明了這是20.203的問題,全換成20.2可以連線上hdfs了
但作者也提出了,"使用0.20.2版本後,仍然沒有辦法直接通過hadoop執行mapreduce程式,需要手動執行,"
為此,按照 這個文章 編寫了乙個makefile去執行程式,內容如下:
jarfile=」wordcount-0.1.jar」
mainfunc=」net.maplef.hadoop.wordcount.wordcountdriver」
localoutdir=」/tmp/output」
all:help
jar:
jar -cvf $ -c bin/ .
input:
hadoop fs -rmr input
hadoop fs -put $ input
run:
hadoop jar $ $ input output
clean:
hadoop fs -rmr output
output:
rm -rf $
hadoop fs -get output $
gedit $/part-r-00000 &
help:
@echo 「usage:」
@echo 」 make jar – build jar file.」
@echo 」 make input input=yourinputpath – set up input path」
@echo 」 make clean – clean up output directory on hdfs.」
@echo 」 make run – run your mapreduce code on hadoop.」
@echo 」 make output – download and show output file」
@echo 」 make help – show makefile options.」
@echo 」 」
@echo 「example:」
@echo 」 make jar; make input input=/home/username/hadoop-test/input/*; make run; make output; make clean」
最後,小小表揚一下自己,雖然世上很少有事一帆風順,但是只有堅持才有可能找到路,比起以前那種興奮勁三天就過,總算進步了。
簡單的測試Eclipse Plug in
前段時間,由於專案需要使用eclipse jdt中與dom相關的api 如astparser astvisitor等 所以寫了乙個eclipse plug in。隨著專案 增多,各種修改和優化也接踵而至。由於很擔心會發生一些regression,我們決定寫一些junit test來對關鍵部分做一些回...
終於開播了。
部落格這東西流行了好幾年了吧。不過慚愧的是,鄙人實在很後知後覺,直到今天才發現原來我也是有必要申請乙個的。成立自己的部落格,每個人都有自己的原因。至於我,主要是下面幾個原因 一 可以把每天雞毛蒜皮,以及從雞毛或者蒜皮的事情中參透的人生感悟給存個檔。文字比 或dv有個很大的優勢,那就是通過文字可以記錄...
終於開戶了
今天6月6日,應該還算個不錯的日子吧。一大早 9 30 爬起來,先去農行取了錢,再奔向建行。填了一大堆 後申請卡折成功,這裡要注意的是要申請開通網上銀行業務,我的就是填了表但不知道被大廳經理mm拿了還是怎麼的,結果沒開成,這時還不知道呢。乙個多鐘下來,該吃中飯咯。中飯後登入建行 才發現自己的網上銀行...