Hadoop框架搭建問題彙總

2021-07-10 19:19:47 字數 978 閱讀 7779

最近在學習hadoop框架搭建,環境為:

虛擬機器工具:vmware10.0.1

·作業系統:centos 6.5

hadoop安裝包:hadoop2.6.0

1.修改ip重啟後ip又重新變成隨機分配ip?

碰到這個問題主要是在跟著網上部落格學習的時候分配完各虛擬機器內ip後,重啟其中一台發現無法ping通的問題,

操作步驟為在命令輸入框介面輸入sudo ifconfig eth0 192.168.1.100後ping其他機器無法ping通,後面編輯vi /etc/sysconfig/network-scripts/ifcfg-eth0檔案發現

bootprto="dhcp"

後面修改配置引數為如下後,各主機之間可以ping通了

bootprto="static"

ipaddr="192.168.1.100"

本機回環登入驗證設定:

在配置ssh無密碼登入的時候碰到很多的問題,最一開始配置完各個分機的秘鑰後本機的回環登入居然還是需要用root密碼登入,後面查詢解決辦法得知存放公鑰、秘鑰的.ssh資料夾在許可權上有很多限制,特別是在centos系統上,需要執行這兩個命令:

chmod 600 ~/.ssh/authorized_keys、

chmod 700 ~/.ssh,

將這兩個檔案的許可權進行修改,因為如果許可權不對,rsa秘鑰校驗是不會讓使用者使用的。

還有乙個問題查了很久也沒有結論,最後在查詢子節點登入的安全日誌中檢視到這麼一段

檢視到這個日誌,又結合之前文章的說法突然想到使用者名稱不一致是不是導致這個問題出現的原因,因為各個檔案的許可權已經設定完,也並未出現網上的異常日誌。後面將三颱機器的賬戶設定成同乙個賬戶、密碼後進行無密碼登入便完成了。

以上就是在搭建hadoop學習環境所碰到的問題,謝謝

參考部落格:

hadoop常見問題彙總

本文彙總了幾個hadoop yarn中常見問題以及解決方案,注意,本文介紹解決方案適用於hadoop 2.2.0以及以上版本。1 預設情況下,各個節點的負載不均衡 任務數目不同 有的節點很多任務在跑,有的沒有任務,怎樣讓各個節點任務數目盡可能均衡呢?答 預設情況下,資源排程器處於批排程模式下,即乙個...

hadoop壓縮彙總

可以減少對集群磁碟空間的占用,減小平行計算資料傳輸時網路io 1.1安裝lzo 2.06.tar.gz 1.2步驟 解壓 進入lzo 2.06.目錄 configure make make install 1.3報錯處理 yum install gcc c 1.5然後利用hadoop 的編譯環境,進...

Hadoop知識彙總

hadoop的兩大功能 海量資料儲存和海量資料分析 1 hdfs 分布式檔案系統海量資料儲存 3 yarn 資源排程管理集群 hdfs工作機制 基於namenode和datanode 1 namenode 響應客戶端的請求 負責維護整個hdfs檔案系統的目錄樹,以及每乙個路徑 檔案 所對應的bloc...