發表於 2013-11-23 12:53
|只看該作者
|只看大圖
本帖最後由 panda 於 2013-11-24 13:23 編輯
問題描述:
重新配置eclipse的mapredece執行環境.上傳test_1檔案,
apr 23 11:49:54 hostapd: wlan0: sta 14:7d:c5:9e:fb:84
apr 23 11:49:52 hostapd: wlan0: sta 74:e5:0b:04:28:f2
apr 23 11:49:50 hostapd: wlan0: sta cc:af:78:cc:d5:5d
apr 23 11:49:44 hostapd: wlan0: sta cc:af:78:cc:d5:5d
apr 23 11:49:43 hostapd: wlan0: sta 74:e5:0b:04:28:f2
apr 23 11:49:42 hostapd: wlan0: sta 14:7d:c5:9e:fb:84
如圖:
解決步驟:
1.檢視hdfs-site.xml,已經設定hdfs的訪問控制設為false.
2.檢視hdfs的檔案目錄許可權:
已執行:
bin/hadoop fs -chmod 777
3.修改windows本地帳戶
4.檢查hdfs能否本地上傳
可以上傳
5.檢查eclipse的配置埠:
和core-site.xml的一致:
做完以上5個步驟,問題依然沒有解決。發現不同的方式上傳的檔案屬性不同
不知道是什麼原因?
6.檢查防火牆和selinux是否禁用
在root許可權下:
關閉防火牆:
/sbin/service iptables stop
禁用selinux
編輯 "/etc/selinux/config"檔案,設定"selinux=disabled"
重啟 reboot
7.重啟後,重啟hadoop將test_1檔案上傳到hdfs中在本地可以看到檔案內容
但是在eclipse檢視的時候報錯:
網上查詢的結果多是:節點斷了,沒連線上,但是我再datanode也可以檢視test_1檔案,不知道怎麼解決!
我猜是可能網路問題,不過太牽強了,我eclipse連線的hadoop的是在網際網路上面的機器。
各位同學,該怎麼解決?
問題解決:
在執行test_1的時候發現報錯:
eclipse所在的機器 hadoop client和hadoop 不是在乙個網段內,不能直接連線到datanode上面。這也是為什麼我的另外乙個搭載在乙個區域網的hadoop client 可以訪問網內的hadoop集群的原因。
我再本機上用vmware虛擬了2臺伺服器,重新搭建hadoop集群,問題就解決了。
總結:hadoop client 需要在hadoop集群在同乙個網段內才能除錯mapreduce程式。
sublimeText python一些配置
根據網上的部落格,總結在sublime text下開發python最需要的配置。1 tab和空格的配置 preference setting user 2 安裝python pep8 autoformat package control install package python pep8 aut...
一些二分匹配的題
poj1469簡單的二分匹配 include include int map 1005 1005 vis 2000 match 2000 int n,m int dfs int u return0 int main int ans 0 memset match,1,sizeof match for ...
安裝Sublime Text 3,做一些基本配置
開始使用arch kde plasma的第4周,用kate寫東西的時候總有些不順手,加上要寫markdown,之前win7上用st3很舒服,準備遷移一下.之前已經準備了pamac,在aur搜尋sublime text 3 imfix,一路確認安裝,編輯器到手.從網上搞了個註冊碼,但只能在st2上使用...