50070：hdfswebui的埠號
8485:journalnode預設的埠號
9000：非高可用訪問數rpc埠
8020：高可用訪問資料rpc
8088：yarn的webui的埠號
8080：master的webui，tomcat的埠號
7077：spark基於standalone的提交任務的埠號
8081：worker的webui的埠號
18080：historyserver的webui的埠號
2181：zookeeper的rpc埠號
9083：hive的metastore的埠號
60010：hbase的webui的埠號
6379：redis的埠號
8080：sparkwebui的埠號
9092：kafka broker的埠
Spark部分 幾個重要的埠彙總
50070 hdfswebui的埠號 8485 journalnode預設的埠號 9000 非高可用訪問數rpc埠 8020 高可用訪問資料rpc 8088 yarn的webui的埠號 8080 master的webui，tomcat的埠號 7077 spark基於standalone的提交任務的埠...
Spark幾個重要的埠彙總
50070 hdfswebui的埠號 8485 journalnode預設的埠號 9000 非高可用訪問數rpc埠 8020 高可用訪問資料rpc 8088 yarn的webui的埠號 8080 master的webui，tomcat的埠號 7077 spark基於standalone的提交任務的埠...
Spark中幾個重要名詞
spark幾個名詞 1 job，乙個action操作觸發乙個job action的一些操作 2 stage劃分 1 有shuffle操作，則shuffle之前為乙個 stage 2 資料落地輸出則為乙個 stage 3 task為具體的任務執行單位，個人理解為乙個執行緒，task的劃分取決於幾個方面...