CDH5 12安裝遇到的坑

環境：centos7+cdh5.12

問題描述：

在搭建過的cdh機器上重新搭建cdh集群，沒有刪除資料。導致新搭建的cdh，這兩台datanode啟動不了.....

特殊情況：

本人以前在這兩台機器上搭建過cdh，所以存在版本問題

1、找到你以前搭建的datanode資料目錄，/dfs/dn/current，檢視version

eg(不能啟動的datanode):

storageid=ds-64482928-918c-48a6-b78c-167f4cd90218
clusterid
=cluster10
ctime=0
datanodeuuid=1d881f40-21e5-4e5b-91ba-f6ade5223eb3
storagetype=data_node
layoutversion=-56

eg(正常啟動的datanode):

storageid=ds-64482928-918c-48a6-b78c-167f4cd90218
clusterid
=cluster8
ctime=0
datanodeuuid=1d881f40-21e5-4e5b-91ba-f6ade5223eb3
storagetype=data_node
layoutversion=-56

解決方法：

只需要將clusterid=cluster10改為clusterid=cluster8

2、問題描述：hdfs新增 nfs gateway 角色例項啟動失敗問題及解決辦法

錯誤描述1:

unlimited

cannot connect to port 
111.
no portmap or rpcbind service 
is running  on this host. please start portmap or rpcbind service before attempting to  start the nfs gateway role on this host.

解決方法：

yum -y install nfs-utils

yum -y install rpcbind
systemctl start rpcbind
systemctl status rpcbind

錯誤描述2:

nfs service is already running on this

host. please stop the nfs service run
表示你啟動了nfs，和cdh衝突

解決方法：

service nfs stop

3、kafka：configured broker.id 2 doesn't match stored broker.id 0 in meta.properties. 既kafka broker無法啟動

錯誤描述：

2020-11-18

11:16:43,592
fatal kafka.server.kafkaserver: fatal error during kafkaserver startup. prepare to shutdown
kafka.common.inconsistentbrokeridexception: configured broker.id 
98 doesn'
t match stored broker.id 102 in meta.properties. if you moved your data, make sure your configured broker.id matches. if you intend to create a new broker, you should remove all data in your data directories (log.dirs).
at kafka.server.kafkaserver.getbrokerid(kafkaserver.scala:650
)        at kafka.server.kafkaserver.startup(kafkaserver.scala:
187)
at kafka.server.kafkaserverstartable.startup(kafkaserverstartable.scala:37)
at kafka.kafka$.main(kafka.scala:67)
at com.cloudera.kafka.wrap.kafka$.main(kafka.scala:76)
at com.cloudera.kafka.wrap.kafka.main(kafka.scala)
2020-11-18
11:16:43,593 info kafka.server.kafkaserver: shutting down

解決方法：broker.id不一致導致的，修改meta.properties中的broker.id即可。

cd /var/local/kafka/data

$ cat meta.properties 
##mon nov 
1613:20:17 cst 2020
version=0
broker.id=98
#broker.id=102

CDH安裝中可能遇到的問題

1.許可權問題 對cloudera manager的各個目錄操作後必須注意許可權的問題 手動對hdfs進行格式後，手動啟動hdfs會自動生成以下三個檔案 需要修改各個目錄的許可權 namenode 資料目錄 dfs nn hdfs 檢查點目錄 dfs snn datanode 資料目錄 data d...

Git安裝遇到的坑

環境搭建 win7的宿主機上安裝vmware虛擬機器，虛擬機器中安裝的centos7，並能正常聯網 修改映象源 1 備份 cp etc yum.repos d centos base.repo etc yum.repos d centos base.repo bak 2 修改centos base....

dvwa安裝遇到的坑

我出現的錯誤是資料庫連線錯誤，網上有很多教程，但是一一試了都沒有用。後來根據自己的猜測進行了一波操作 針對於多版本的mysql使用者 剛開始安裝的時候很懵，沒有指定埠，比如我，3306是8.0 3307是5.7 3310是5.5，但是dvwa裡的config配置檔案沒有指定埠 踩了很多坑，發現dvw...