這個比較簡單,但是執行的時候發現與本機的溝通有問題。可能是因為我是遠端登陸後啟動的。
給本機再copy下id解決
我是直接用root安裝的,沒有建立hdfs等使用者
所以需要在start-dfs.sh、stop-dfs.sh、start-yarn.sh、stop-yarn.sh開頭指明以root執行
報錯是找不到jar檔案,classpath有問題
按照提示資訊修改後仍然報錯,需要:
hdoop classpath
把結果複製到mapred-site.xml中配置yarn的classpath,直接複製就行。開始還想著這一堆冒號怕是不行。
開始hostname寫的和host不一樣,hdfs能執行,mapreduce報錯,檢視日誌是鏈結超時
修改hostname和hadoop配置中的節點名稱一致,解決。
用例子跑pi,後面的迴圈次數選的比較大
exsi配置:
e5 2470 v2*2,共20核40執行緒
記憶體是80g
三颱虛擬機器,每個虛擬機器8核心8g記憶體
跑起來後,exsi監控cpu滿載,記憶體使用28g這樣
同時網頁監控正常,可以判斷安裝、執行正常
centos7 安裝centos桌面
一 輸入命令 yum groupinstall gnome desktop graphical administration tools 二 設定系統啟動等級。systemctl get default 獲取當前系統執行形式,會顯示multi user.target 命令列終端 或者 graphic...
centos7安裝nginx(yum安裝)
感興趣的可以檢視用壓縮包安裝的過程 1 通過檢視當前linux核心以及版本號進行獲取nginx的rpm安裝源適配。uname a2 獲取nginx相關的rpm源 防止版本號不對應產生的各種問題 rpm uvh3 yum安裝nginx yum install nginx等待安裝完成。1 安裝完成後,n...
CentOS7安裝docker(yum安裝)
1.中文文件 2.檢視linux版本 cat etc redhat release3.是否聯網 這裡yun安裝,不聯網gg 4.解除安裝舊版本 sudo yum remove docker docker client docker client latest docker common docker...