Hadoop Eclipse外掛程式編譯

2021-06-19 08:08:30 字數 1068 閱讀 1998

hadoop版本:hadoop-0.20.2-cdh3u6

eclipse版本:eclipse indigo 3.7.0

網上步驟基本相同,但個人可能關注的重點不同,羅列下也為自己以後作為積累

1.新增工程

在eclipse中import匯入已有的工程目錄:hadoop-0.20.2-cdh3u6\src\contrib\eclipse-plugin\

2.新增build-contrib.xml

把hadoop-0.20.2-cdh3u6

\src\contrib\build-contrib.xml複製到工程中。

3.修改build-contrib.xml

找到修改location為hadoop的實際解壓目錄,在其下新增

例如4.修改build.xml

找到,改為新增

在 標籤下新增:

找到 includeantruntime="on"

>

5.複製一些檔案

hadoop-core-0.20.2-cdh3u6.jar 到 \build\hadoop-core-0.20.2-cdh3u6.jar;\lib\commons-cli-1.2.jar到\build\ivy\lib\hadoop\common\commons-cli-1.2.jar,如果上述目錄沒有則新建一下。

6.執行build.xml檔案

在build.xml上右擊run,選擇ant run就可以了。

7 在hadoop-0.20.2-cdh3u6\build\contrib\eclipse-plugin資料夾下會生成hadoop-eclipse-plugin-0.20.2-cdh3u6.jar

8 將hadoop-eclipse-plugin-0.20.2-cdh3u6.jar新增到eclipse的plugins目錄下

9 重啟eclipse,為保證外掛程式正確載入 ,最好使用如下命令重啟eclipse 

eclipse.exe -clean

10 在eclipse->window->preferences 設定hadoop map/reduce  的目錄 為hadoop-0.20.2-cdh3u6所在的目錄

Hadoop Eclipse外掛程式操作HDFS

本節目標 1 掌握應用hadoop eclipse plugin對hdfs的管理操作 2 掌握應用eclipse編碼方式簡單操作hdfs 1 修改c windows system32 drivers etc下的hosts檔案 2 為了解決使用者許可權無法寫入的問題 1 在系統的環境變數中新增hado...

Hadoop eclipse開發環境

通過手提電腦的eclipse開發mapreduce到遠端的hadoop集群上執行 從雲端複製你的hadoop整個安裝資料夾到你工作的電腦本地 雖然這樣很傻,但是請你照做吧 在cm網頁介面直接搜尋fs.default.name,mapreduce.jobtracker.http.address也可以 ...

使用Ant編譯Hadoop eclipse外掛程式

將ant解壓至硬碟上,比如d ant 設定環境變數 ant home d ant 將 ant home bin加入到path當中。解壓hadoop的release。進入 hadoop home src contrib 編輯build contrib.xml 加入將 hadoop home 下的jar...