大資料學習之路3 集群常見錯誤

2021-08-21 18:40:01 字數 303 閱讀 4822

1.不恰當的format:導致namenode上生成了clusterid.跟datanode上記錄的clusterid不一致,導致datanode無法向namenode註冊。

解決辦法:將datanode所在機器的資料目錄刪除,重啟datanode的時候會自動建立。

2.不恰當的複製(把datanode的資料目錄複製給了另一台,導致兩台datanode的datanodeuuid重複衝突,兩台中只能有一台能向namenode註冊成功。

3.忘記關掉防火牆,導致namenode無法從外界訪問,也會導致datanode無法跟namenode進行通訊。

3 集群容錯

invoker 封裝了provider位址和service介面資訊 directory 相當於是invoker的集合,它的值是可變化的,比如註冊中心推送的變更資料。cluster 將directory裡的多個invoker偽裝成乙個invoker,偽裝過程包含了容錯邏輯,預設是failover,呼叫...

大資料 一 hadoop3 2 1集群部署

環境說明 作業系統 centos8 jdk 13 hadoop 3.2.1 以下命令可以一鍵執行 1 系統配置 echo 192.168.1.154 hadoop1 etc hosts echo 192.168.1.155 hadoop2 etc hosts echo 192.168.1.156 h...

redis3集群安裝入門

要讓集群正常工作至少需要3個主節點,在這裡我們要建立6個redis節點,其中三個為主節點,三個為從節點,對應的redis節點的ip和埠對應關係如下 127.0.0.1 7000 127.0.0.1 7001 127.0.0.1 7002 127.0.0.1 7003 127.0.0.1 7004 1...