目前正在做hadoop的專案,這周進度推進到hbase的偽分布式。通過eclipse程式設計試圖向hbase中新增資料。但是總是遇上zookeepersaslclient securityexception的問題。
於是先在shell上試圖配置hbase的偽分布式,檢視日誌後發現還是有這個問題。查了很多資料,直到現在方才解決。
以下給出hdfs + hbase的具體配置和命令:
1) hadoop/conf/core-site.xml
fs.default.name
hdfs://localhost:9000
2) hadoop/conf/hdfs-site.xmldfs.datanode.max.xcievers
4096
dfs.replication
1
3) hadoop/conf/mapred.xmlmapred.job.tracker
localhost:9001
4) hbase/conf/hbase-site.xmlhbase.cluster.distributed
true
hbase.rootdir
hdfs://localhost:9000/hbase
dfs.replication1
5) hbase/conf/hbase-env.shexport hbase_classpath=/home/wzp/hadoop/conf
export hbase_manages_zk=true
6) 先執行start-dfs.sh,後執行start-hbase.sh。則可以在hdfs上建立hbase。
雖然問題得到解決,但是還是不知道為什麼會出現sasl的異常。
此外,根據hbase自帶manual,hbase.rootdir的埠應為8020。首先這個埠做不出來,其次這個埠明顯不合理,因為hdfs中配置的埠為9000,如果hbase建立在hdfs上,那必然是通過9000埠通過的。話雖如此,但實際原因我仍然不知道。
對manual都存在這麼多問題表示很無奈。
hdfs偽分布式整合yarn
1.開啟要修改檔案的目錄 cd hadoop home etc hadoop 2.複製mapred site.xml.template為mapred site.xml cp mapred site.xml.template mapred site.xml 3.修改mapred site.xml 在中...
HDFS偽分布式環境搭建
一 hdfs shell操作 以上已經介紹了如何搭建偽分布式的hadoop,既然環境已經搭建起來了,那要怎麼去操作呢?這就是本節將要介紹的內容 hdfs自帶有一些shell命令,通過這些命令我們可以去操作hdfs檔案系統,這些命令與linux的命令挺相似的,如果熟悉linux的命令很容易就可以上手h...
HBase 1 1 2安裝(偽分布式)
嚷嚷著要學hbase還是去年的事情,最近才是真正靜下心來學習。廢話不多說,讓我來轟轟烈烈地安裝下hbase吧!zookeeper 安裝好了單機版的zookeeper.注意點1 zookeeper的zoo.cfg的配置中的datadir,是zookeeper安裝資料夾下面的data.然後用sh zks...