hadoop上eclipse開發環境搭建
apache-ant-1.9.4-bin.zip解壓到/usr/local/目錄下,
配置環境變數ant_home,並將bin目錄配置到path
hadoop-eclipse-plugin是乙個專門用於eclipse的hadoop外掛程式,可以直接在ide環境中檢視hdfs的目錄和檔案內容。其源**託管於github上,官網位址是
但如果只是使用/tree/master/release 這裡已經提供了各種編譯好的版本,直接用就行。目前只有2.2.0/ 2.4.1/ 2.6.0 三個版本。
自己編譯hadoop-eclipse-plugin外掛程式2.5.2版本
1、修改編譯包及依賴包版本資訊
修改 "/usr/local/hadoop2x-eclipse-plugin-master/ivy/libraries.properties"
hadoop.version=2.5.2
jackson.version=1.9.13
hadoop2.5.2編譯eclipse plugin的時候,build.xml中這一行要注釋掉:
這一行是2.6版的。
2、ant編譯
cd /usr/local/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin
ant jar-dversion=2.5.2 -declipse.home= /usr/local/eclipse/eclipse -dhadoop.home= /home/hadoop/download/hadoop-2.5.2/
3、編譯好後hadoop-eclipse-plugin-2.5.2.jar會在/usr/local/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/目錄下
1.將編譯好的hadoop-eclipse-plugin-2.5.2.jar拷貝至eclipse的plugins目錄下,然後重啟eclipse
2.開啟選單window--preference--hadoopmap/reduce進行配置,如下圖所示:
注意:不過若要除錯
hadoop
程式,還需要配置引數,指定
hadoop
的軟體安裝路徑,注意本步只是要指定
hadoop
軟體的路徑,並不是要配置
hadoop
(或複製)乙份
hadoop
檔案即可
3.顯示hadoop連線配置視窗:window--showview--other-mapreduce tools,如下圖所示:
4.配置連線hadoop,如下圖所示:
location name:為配置的路徑指定乙個名稱,名稱可以自定義。
map/reduce master:根據hadoop環境中namenode節點conf/mapred-site.xml檔案中的配置而定,指定為mapred.job.tracker引數的值;
dfs master:根據hadoop環境中namenode節點conf/core-site.xml檔案中的配置而定,指定為fs.default.name的值;
user name:指定操作使用者,一般預設此處顯示為作業系統使用者名稱;
5.檢視是否連線成功,能看到如下資訊,則表示連線成功:
Hadoop在eclipse上安裝外掛程式
1 首先從 git win7 編譯首先需要安裝 jdk ant eclipse 將外掛程式hadoop2x eclipse plugin master.zip 解壓到某個的目錄。如 d hadoop2x eclipse plugin master 將 hadoop2.6 安裝檔案解壓到指定目錄 首先...
hadoop 編譯eclipse 外掛程式
使用eclipse開發hadoop專案時,可以使用hadoop eclipse外掛程式,提高效率,下面來介紹下步驟 步驟 操作 1 進入 root hadoop 1.2.0 src contrib eclipse plugin下面,修改build.xml 2 進入 root hadoop 1.2.0...
Eclipse開發Hadoop程式
如鏈結 所示,如果想通過eclipse開發hadoop程式,需要以下步驟 3 通過window preferens,配置hadoop map reduce選項。指定hadoop安裝位址。4 配置map reduce locations。在window show view中開啟map reduce l...