Hadoop安裝過程中的HA切換不成功的坑

2021-08-19 02:22:51 字數 589 閱讀 1585

在hadoop安裝配置過程中,有很多同學按照網上教程配置完成,並啟動ha即兩台namenode後,看到其中一台伺服器是active,另一台則是standby模式,而且檔案也可以正常寫入到hdfs中,但是並沒有去做ha的切換測試,當在測試或者開發中發現出現兩個standby的namenode後才知道ha沒有正常工作,即一台active的namenode掛掉後,另一台namenode也是standby,總是不會自己切換到active模式,把掛了的namenode的啟動後還是兩台都是standby了。

出現這種情況,很多同學就會去看hdfs-site.xml的檔案ha配置是否正確,看半天也百思不得其解,最後無奈的重啟很多次伺服器也不行。

如果發現ha配置沒有問題,但是不能自動切換active的namenode,我們可以檢視zkfc的log日誌,看是否會出現下面的warn或者exception:

我們可以看到上圖紅框報錯,fuser:command not found,這個是最關鍵的資訊,說明我們的centos系統裡面缺少fuser,那我們就可以使用 yum install psmisc 這個命令安裝後,fuser就安裝好了,直接測試ha,active和standby切換成功!

注:psmisc包含

hadoop安裝過程中的問題

第一次配置檔案環境變數等都配置完後,開始執行偽分布式,報了如下圖所示的錯誤。該錯誤重啟之後就沒用了。當我用jps去檢視執行的服務時,發現什麼都看不到,究其原因是因為當前使用者下沒有檢視許可權,切換到root執行jps就看到了。第二個錯誤是用eclipse連hadoop的時候dfs連不上,觀察發現本機...

Hadoop在安裝過程中的hosts的配置

問題 當已經安裝好haodoop集群之後,就可以使用hadoop集群來呼叫mapreduce進行例如wordcount的例項,但是一直出現不能鏈結的問題 解決方法 1.先檢視是不是的防火牆開啟,將防火牆關閉 service iptbales stop 2.檢視埠狀態 telnet 192.168.8...

openstack安裝過程中keystone的問題

在裝控制節點時,遇到了很多的問題,然後糾結了好幾天,查google,問其他人 這裡推薦乙個qq群 openstack中國社群部署群145923072 推倒了重灌,終於算把keystone這關給過了。羅列幾個問題 這個都是拒絕連線,應該都是配置檔案裡面賬戶密碼搞錯了,導致連線不了keystone資料庫...