eclipse plugin 終於有作用了

2021-08-31 20:43:32 字數 1423 閱讀 1248

前幾天一直無進展,今天也弄了半天,但是出現了轉機,不再是那個「connection to myubuntu(這裡是自己起的名字) org/apache/hadoop/configuration/configuration」的錯誤了,因為我當時直接雙擊下方那個view裡的圖示,結果報出的錯誤是an internal error occurred during: 「map/reduce location status updater」.

文章作者說明了這是20.203的問題,全換成20.2可以連線上hdfs了

但作者也提出了,"使用0.20.2版本後,仍然沒有辦法直接通過hadoop執行mapreduce程式,需要手動執行,"

為此,按照 這個文章 編寫了乙個makefile去執行程式,內容如下:

jarfile=」wordcount-0.1.jar」

mainfunc=」net.maplef.hadoop.wordcount.wordcountdriver」

localoutdir=」/tmp/output」

all:help

jar:

jar -cvf $ -c bin/ .

input:

hadoop fs -rmr input

hadoop fs -put $ input

run:

hadoop jar $ $ input output

clean:

hadoop fs -rmr output

output:

rm -rf $

hadoop fs -get output $

gedit $/part-r-00000 &

help:

@echo 「usage:」

@echo 」 make jar – build jar file.」

@echo 」 make input input=yourinputpath – set up input path」

@echo 」 make clean – clean up output directory on hdfs.」

@echo 」 make run – run your mapreduce code on hadoop.」

@echo 」 make output – download and show output file」

@echo 」 make help – show makefile options.」

@echo 」 」

@echo 「example:」

@echo 」 make jar; make input input=/home/username/hadoop-test/input/*; make run; make output; make clean」

最後,小小表揚一下自己,雖然世上很少有事一帆風順,但是只有堅持才有可能找到路,比起以前那種興奮勁三天就過,總算進步了。

簡單的測試Eclipse Plug in

前段時間,由於專案需要使用eclipse jdt中與dom相關的api 如astparser astvisitor等 所以寫了乙個eclipse plug in。隨著專案 增多,各種修改和優化也接踵而至。由於很擔心會發生一些regression,我們決定寫一些junit test來對關鍵部分做一些回...

終於開播了。

部落格這東西流行了好幾年了吧。不過慚愧的是,鄙人實在很後知後覺,直到今天才發現原來我也是有必要申請乙個的。成立自己的部落格,每個人都有自己的原因。至於我,主要是下面幾個原因 一 可以把每天雞毛蒜皮,以及從雞毛或者蒜皮的事情中參透的人生感悟給存個檔。文字比 或dv有個很大的優勢,那就是通過文字可以記錄...

終於開戶了

今天6月6日,應該還算個不錯的日子吧。一大早 9 30 爬起來,先去農行取了錢,再奔向建行。填了一大堆 後申請卡折成功,這裡要注意的是要申請開通網上銀行業務,我的就是填了表但不知道被大廳經理mm拿了還是怎麼的,結果沒開成,這時還不知道呢。乙個多鐘下來,該吃中飯咯。中飯後登入建行 才發現自己的網上銀行...