今天經過一天的努力 終於將hadoop集群搭建完畢
一共三颱機器 一台namenode 兩台datanode
其中一台datanode 是jobtracker和tasktracker 另一台datanode是tasktracker
和hadoop官方文件和同事搭建的例子
安裝過程中也遇到很多問題
1.ssh 無法連線本地
通過諮詢運維同學 通過修改/etc/ssh/sshd_config檔案
加入allowuser 後解決
2.技巧
如namenode,datanode1,datanode2
不要用hadoop1 hadoop2這樣久了不容易記清楚的名字
3.啟動hadoop時 先啟動namenode 再啟動jobtracker
停止時順序相反.
注意的是,要在namenode 上啟動 hdfs
bin/start-dfs.sh
在jobtracker上啟動mapreduce
bin/start-mapred.sh
hadoop的集群安裝
hadoop的集群安裝 1 安裝jdk，解壓jar，配置環境變數 1.1 解壓jar tar zxvf jdk 7u79 linux x64.tar.gz c opt install 將jdk解壓到對應的檔案目錄下 1.2 配置環境變數，sudo vim etc profile 新增下面內容 exp...
假期Hadoop專案完畢
臨近放假之前，本來打算把乙個軟體著作權完成的，然後再利用假期準備一下找工作的東西，可是突然冒出乙個hadoop專案來，只能順著導師的意思，完成這個專案了，一眨眼功夫，乙個多月過去了，專案馬馬虎虎算是湊合著過去了。現在想想，其實也是挺鬧眼子的，hadoop專案看起來挺牛挺神奇的東西，被我們這麼一用也不...
hadoop集群下安裝zookeeper
從 http tar zxvf zookeeper 3.4.6.tar.gz cd zookeeper 3.4.6 cp conf zoo sample.cfg conf zoo.cfg 2 配置節點 在 home dm opt下新建zookeeperdata這個目錄，並在該目錄下，新建myid檔案...