上次hadoop集群已經搭建完成,並奔跑正常,下面我們就該用eclipse連線這個集群了,方便開發程式。
把外掛程式放到eclipse的plugins目錄裡面,重啟eclipse。
在eclipse 的右上角輸入map就會看到有 map/reduce locations
開啟map/reduce locations ,右鍵,new hadoop location...
laction name 隨便起個名字
把master的ip位址和埠填寫清楚 ,然後finish。
切換到 map/reduce 檢視 在最上面就會看見 hadoop的檔案系統了
如果沒有配置錯誤的話,應該會在這裡出現hadoop的檔案系統,但是我的資料夾一直顯示0個
嘗試上傳乙個檔案,發現是許可權不夠,應該是我用window8訪問hadoop集群導致權重不夠
後來在 hdsf-site.xml 裡面增加乙個配置
dfs.permissions
false
這樣就不限制權重了
重新啟動集群,重新連線,重新整理,嘗試新建testdata資料夾,還是顯示0
重新整理,居然有了,給這個資料夾上傳檔案,成功。
重新整理下目錄,就看到了
在 master上 hadoop fs -ls -r /
[hadoop@master hadoop]$ hadoop fs -ls -r /
drwxr-xr-x - administrator supergroup 0 2014-12-03 15:05 /testdata
-rw-r--r-- 3 administrator supergroup 593494016 2014-12-03 14:33 /testdata/centos-7.0-1406-x86_64-minimal.iso
-rw-r--r-- 3 administrator supergroup 2401901 2014-12-03 15:05 /testdata/protobuf-2.5.0.tar.gz
從網上隨便找個mapraduce程式跑下試 安裝64位php開發環境
最近聽說php5.4速度很快,所以想建立乙個本地環境測試下。我打算用本地windows xp sp3下安裝php5.4.8 apache2.4.3和mysql5.5.28。前期的準備工作已經完成。下面講講如何安裝apache,這個是最麻煩的,其他的多簡單。第一部分 安裝apache2.4.3 2.開...
交叉編譯環境 搭建開發環境
一 安裝ubuntu redhat等linux作業系統 二 修改源 可省略 sudo vi etc apt sources.list deb 或直接在 系統 系統管理 軟體源 選擇軟體源 三 更新源列表 sudo apt get update 四 安裝中文環境 系統 系統管理 語言支援 在 支援的語...
搭建hadoop集群開發環境1
最近沒事學習一下hadoop,搭建乙個hadoop集群,由於之前接觸linux較少,就順帶著學學linux,這裡將遇到的問題記錄下來 我用的是ubuntu 14.10 desktop amd64,因為不了解,中間遇到各種問題,這裡重點寫一下遇到的問題,至於搭建hadoop具體步驟,可以檢視下面的鏈結...