大資料元件常用埠總結 持續更新中

2021-10-23 04:43:17 字數 790 閱讀 6822

元件名稱

埠號埠作用

hadoop

(yarn、hdfs)

50070

hdfs web ui埠

8088 

yarn 的web ui 介面

19888

jobhistory web ui埠

8020 

高可用的hdfs rpc埠

9000 

非高可用的hdfs rpc埠    

8485 

journalnode 的rpc埠

8019 

zkfc埠 

zookeeper

2181

客戶端連線zookeeper的埠

2888

zookeeper集群內通訊使用,leader監聽此埠

3888

zookeeper埠 用於選舉leader

hbase

60010

hbase的master的web ui埠 (舊的) 

60030

hbase的regionserver的web ui 管理埠  

16010

hbase的master的web ui埠   (新的)

kafka

9092

預設監聽埠

elasticsearch

9300

es節點之間通訊使用

9200

es節點 和外部通訊的埠,rest埠

kibana

5601

外部訪問頁面埠

大資料 hadoop學習總結鏈結(持續更新)

hadoop系列介紹 含hdfs mapreduce hive hbase等基本元件的介紹 任務hdfs增刪改查 含hdfs針對檔案的基本操作,類似於linux的操作 任務hive指令碼的啟動,建立表,和執行sql語句 該部分設計sql語言 學習 然後hive的概念 機制和基礎命令可以參考以下鏈結 ...

大資料平台常用元件埠號

常見埠彙總 hadoop 50070 hdfs web ui埠 8020 高可用的hdfs rpc埠 9000 非高可用的hdfs rpc埠 8088 yarn 的web ui 介面 8485 journalnode 的rpc埠 8019 zkfc埠 19888 jobhistory web ui埠...

Pytorch常用總結(持續更新 )

1.transform部分 2.dataloader部分 dataset dataloader dataloader中的batch和num works引數 3.實操筆記 4.基本函式 dim用法 torch.sign用法 tensor list numpy的互相轉換 torch.meshgrid 用...