hadoop測試環境搭建1

廢話少說直接乾貨

在虛擬機器裡安裝hadoop，關閉防火牆、配置ip

我的系統環境為：win8系統、vmware11、centos8

1、設定虛擬機器網路通訊模式為host only模式

在虛擬機器目錄下找到vmnetcfg檔案

2、設定windows連線

3、修改linux系統的的ip

命令【ifcfg-ens33為網絡卡名稱根據自己實際情況調整】：

4、修改hostname

vim /etc/hostname

systemctl stop firewalld.service

#停止firewall
systemctl disable firewalld.service
#禁止firewall開機啟動
firewall-cmd --state #檢視預設防火牆狀態（關閉後顯示notrunning，開啟後顯示running）

從windows中ping linux配置的ip【可通】

從linux中ping windows配置的ip【可通】

搭建hadoop集群開發環境1

最近沒事學習一下hadoop，搭建乙個hadoop集群，由於之前接觸linux較少，就順帶著學學linux，這裡將遇到的問題記錄下來 我用的是ubuntu 14.10 desktop amd64，因為不了解，中間遇到各種問題，這裡重點寫一下遇到的問題，至於搭建hadoop具體步驟，可以檢視下面的鏈結...

Hadoop環境測試

測試hdfs hdfs shell操作 檢視幫助 hadoop fs help 上傳 hadoop fs put 上檔案 上的路徑 檢視檔案內容 hadoop fs cat 上的路徑 檢視檔案列表 hadoop fs ls hadoop fs get 上的路徑 上檔案 上傳檔案到hdfs 檔案系統上...

Hadoop環境搭建（二）

一 yarn的配置 啟動命令 sbin yarn daemon.sh start resourcemanager sbin yarn daemon.sh start nodemanager 二 配置mapreduce 三 執行mapreduce程式案例 要求 寫mr程式的一定要有輸入和輸出的路徑 準...