單機環境:可以直接執行mareduce-examples.jar案例
偽分布式:乙個伺服器上執行多個程序
hdfs:偽分布式配置
hadoop配置檔案的配置:
a,配置核心檔案(路徑/opt/module/hadoop-2.7.5/etc/hadoop)
配置:vim core-site.xml
fs.defaultfs配置:hdfs-site.xmlhdfs://gqk1:8020
dfs.replication格式化namenode--------清空主節點namenode目錄下的所有資料生成目錄結構初始化一些資料到檔案中3
進入:/opt/module/hadoop-2.7.5/bin 有個hdfs的檔案
執行./hdfs
執行: ./hdfs namenode -format 格式化(檢視官網 查詢生成檔案的目錄)
在hdfs-site.xml 查詢
在core-site.xml 查詢
啟動hdfs各個程序
啟動後必須輸入密碼(沒有配置ssh免秘鑰鏈結)
啟動完成檢視程序 jps
如果用主機名稱訪問需要對映:
通過主機名稱或者ip位址訪問50070埠
如果出現window系統不能訪問虛擬機器上可以執行:
關閉命令: service iptables stop
永久關閉防火牆:chkconfig iptables off
./stop-dfs.sh 停止程序;
如果虛擬機器不能上網的話:
yarn的偽分布式配置:
mapred-site.xml配置(/opt/module/hadoop-2.7.5/etc/hadoop)
需要對檔案進行改名:mv mapred-site.xml.template mapred-site.xml
mapreduce執行在yarn之上,預設偽local
mapreduce.framework.nameyarn-site.xml配置yarn
yarn.nodemanager.aux-services配置完成後;啟動yarn的服務:mapreduce_shuffle
[root@gqk1 sbin]# ./start-yarn.sh 出現一下節點:
訪問yarn http埠8088:http://gqk1:8088
hadoop偽分布式搭建
因為hadoop偽分布式我已在本地搭建並且執行成功。為了加快學習不足同時分享搭建。直接將不足貼出來,如有不同意見還忘評價共同提公升。hadoop 偽分布模式 hdfs yarn 另外補充下 hadoop2.0之後不包含mapreduce 環境搭建準備 1,vmware 安裝 如果你使用的事virtu...
Hadoop偽分布式搭建
已經部署好的 hadoop 單機模式環境 1 切換到 usr local hadoop 2.7.3 etc hadoop 目錄,需要修改如下配置 1 etc hadoop core site.xml 指定namenode的位址 fs.defaultfs hdfs localhost 9000 用來指...
搭建hadoop偽分布式(二)
只是配置好了hadoop還不行 還要配置ssh 免秘鑰登入 因為namenode要遠端登入到datanode上進行控制 即便是偽分布式 要是自己登入自己機器 1 安裝 ssh yum y install openssh server openssh clients 2 生成公鑰和私鑰 ssh key...