hadoop上eclipse開發環境搭建

2021-07-23 07:46:18 字數 2053 閱讀 5519

hadoop上eclipse開發環境搭建

apache-ant-1.9.4-bin.zip解壓到/usr/local/目錄下,

配置環境變數ant_home,並將bin目錄配置到path

hadoop-eclipse-plugin是乙個專門用於eclipse的hadoop外掛程式,可以直接在ide環境中檢視hdfs的目錄和檔案內容。其源**託管於github上,官網位址是

但如果只是使用/tree/master/release 這裡已經提供了各種編譯好的版本,直接用就行。目前只有2.2.0/ 2.4.1/ 2.6.0 三個版本。

自己編譯hadoop-eclipse-plugin外掛程式2.5.2版本

1、修改編譯包及依賴包版本資訊

修改 "/usr/local/hadoop2x-eclipse-plugin-master/ivy/libraries.properties"

hadoop.version=2.5.2

jackson.version=1.9.13

hadoop2.5.2編譯eclipse plugin的時候,build.xml中這一行要注釋掉:

這一行是2.6版的。

2、ant編譯

cd /usr/local/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin

ant jar-dversion=2.5.2 -declipse.home= /usr/local/eclipse/eclipse -dhadoop.home= /home/hadoop/download/hadoop-2.5.2/

3、編譯好後hadoop-eclipse-plugin-2.5.2.jar會在/usr/local/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/目錄下

1.將編譯好的hadoop-eclipse-plugin-2.5.2.jar拷貝至eclipse的plugins目錄下,然後重啟eclipse

2.開啟選單window--preference--hadoopmap/reduce進行配置,如下圖所示:

注意:不過若要除錯

hadoop

程式,還需要配置引數,指定

hadoop

的軟體安裝路徑,注意本步只是要指定

hadoop

軟體的路徑,並不是要配置

hadoop

(或複製)乙份

hadoop

檔案即可

3.顯示hadoop連線配置視窗:window--showview--other-mapreduce tools,如下圖所示:

4.配置連線hadoop,如下圖所示:

location name:為配置的路徑指定乙個名稱,名稱可以自定義。

map/reduce master:根據hadoop環境中namenode節點conf/mapred-site.xml檔案中的配置而定,指定為mapred.job.tracker引數的值;

dfs master:根據hadoop環境中namenode節點conf/core-site.xml檔案中的配置而定,指定為fs.default.name的值;

user name:指定操作使用者,一般預設此處顯示為作業系統使用者名稱;

5.檢視是否連線成功,能看到如下資訊,則表示連線成功:

Hadoop在eclipse上安裝外掛程式

1 首先從 git win7 編譯首先需要安裝 jdk ant eclipse 將外掛程式hadoop2x eclipse plugin master.zip 解壓到某個的目錄。如 d hadoop2x eclipse plugin master 將 hadoop2.6 安裝檔案解壓到指定目錄 首先...

hadoop 編譯eclipse 外掛程式

使用eclipse開發hadoop專案時,可以使用hadoop eclipse外掛程式,提高效率,下面來介紹下步驟 步驟 操作 1 進入 root hadoop 1.2.0 src contrib eclipse plugin下面,修改build.xml 2 進入 root hadoop 1.2.0...

Eclipse開發Hadoop程式

如鏈結 所示,如果想通過eclipse開發hadoop程式,需要以下步驟 3 通過window preferens,配置hadoop map reduce選項。指定hadoop安裝位址。4 配置map reduce locations。在window show view中開啟map reduce l...