fs.defaultfs
hdfs:
hadoop.tmp.dir
/opt/hadoop/tmp
(七)修改檔案vi etc/hadoop/hdfs-site.xml,加入如下**:
其中dfs.namecode.name.dir 所對應的value值可以指定存放目錄,如果為多個目錄請用逗號隔開。同理於dfs.namecode.data.dir。
**如下:
dfs.replication
1dfs.namenode.name.dir
file:/opt/hadoop/tmp/hdfs/name
dfs.datanode.data.dir
file:/opt/hadoop/tmp/hdfs/data
(八)修改檔案vi etc/hadoop/mapred-site.xml.template ,如下加入**,並使用指令cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
**如下:
mapreduce.framework.name
yarn
(九)修改檔案vi etc/hadoop/yarn-site.xml,如下加入**
**如下:
yarn.nodemanager.aux-services
mapreduce_shuffle
配置基本完成。
(十)執行hadoop :
a.鍵入命令 hdfs namenode -format 初始化namecode
b.執行sbin目錄下的start-all.sh
其中會分別需要鍵入yes與y。
(十一)啟動完畢,可以通過瀏覽器訪問http://localhost:8088以及50070兩個埠,並會分別在瀏覽器中看到
如果,用遠端訪問該hadoop伺服器,請先確認伺服器是否聯網,然後關閉伺服器的防火牆(暫時關閉防火牆指令:service firewalld stop,永久關閉:systemctl disable firewalld.service),
然後遠端端通過伺服器ip訪問,即將localhost改為網段中伺服器的ip。
(十二)hadoop例項執行
a.進入hadoop安裝目錄。
b.通過指令 hdfs dfs -mkdir -p /user/本機使用者名稱/iput
c.通過指令檢視是否建立成功,如下圖所示:
警告可忽略。(上述的output目錄不予考慮,之後會解釋。)
d.通過指令 hdfs -put $hadoop_home/etc/hadoop/*.xml /user/root/input 將需要統計的檔案上傳到之前建立的input資料夾中。可檢視到如下的檔案:
警告可忽略。
e.執行測試jar 。鍵入**hadoop jar share/hadoop/mapreduce/
hadoop-mapreduce-examples-2.7.3.jar grep input output 『[a-z.]+』 注意空格,此處的output就是上述中看到的/user/root/output資料夾。
f.檢視output資料夾下資訊。
結語:
如果結果和上圖類似,hadoop的demo在linux上搭建已完成。ps:如果過程中出現錯誤資訊,請檢視hadoop安裝目錄中的logs資料夾裡面的cat logs/hadoop-root-datanode-localhost.localdomain.log ,搜尋error來處理異常。最後,祝你更上一層樓!
引用塊內容
Hadoop安裝及基礎環境配置
hadoop安裝 使用老師給的系統映像,選擇預設配置新建centos7linux虛擬機器 設定root管理員密碼,建立新賬戶 配置基礎環境 新增白名單 輸入ctrl alt f2開啟虛擬控制台 登入管理員使用者和密碼 輸入 vim etc sudoers 開啟etc資料夾下的sudoers檔案 找到...
Linux中Svn安裝及使用
推薦使用docker安裝svn伺服器 參見 svn客戶端安裝 yum install y subversion 參見 svn checkout svn svn update 1.svn提交檔案時發生衝突提示 skipped node remains in conflict 假設衝突檔案為 html ...
Hadoop學習之安裝Hadoop
1.用xftp工具將hadoop 2.7.2.tar.gz匯入到opt目錄下面的software資料夾 2.進入到hadoop安裝包路徑下 cd opt software 3.解壓安裝檔案到 opt module下面 tar zxvf hadoop 2.7.2.tar.gz c opt module...