1.hdp3.0.1
2.hadoop3.1.1
3.spark2.3.1
4.kafka1.1.1
5.hive3.1.0
6.未開啟kerberos
需要使用新公升級的hdp3.0.1集群，原有的程式是在hdp2.6.4上面執行，讀kafka寫hive，因集群公升級(對應的hadoop,hive版本變動較大)，需要同步更新程式依賴的jar包版本。
org.apache.spark.sql.analysi***ception: hive support is required to create hive table (as select)
原因分析：hive版本變動較大，由原來1.2.1公升級到3.1.0.導致spark程式建hive表的時候報此異常；
解決方案：spark-submit中新增引數：
–conf spark.sql.catalogimplementation=hive
CentOS搭建EMQx3 0 1集群
2.修改自動發現節點建立集群的策略 cluster.discovery static 3.新增節點列表 cluster.static.seeds emqx1 127.0.0.1，emqx2 127.0.0.1，emqx3 127.0.0.1 配置完成以後，轉殖centos，轉殖兩份。在另外兩個cen...
3 集群容錯
invoker 封裝了provider位址和service介面資訊 directory 相當於是invoker的集合，它的值是可變化的，比如註冊中心推送的變更資料。cluster 將directory裡的多個invoker偽裝成乙個invoker，偽裝過程包含了容錯邏輯，預設是failover，呼叫...
（一）集群介紹
一 集群的種類 集群系統主要分為 1 ha 高可用集群，又叫雙機熱備。a 2臺機器a，b，正常是a提供服務，b待命閒置，當a宕機或服務宕掉，會切換至b繼續提供服務 b 常用的高可用開源軟體 heartbeat和keepalived 可以做負載均衡 2 lb 負載均衡集群 3 hpc 高效能計算集群 ...