5 hadoop常見埠彙總

2022-06-16 21:48:17 字數 3290 閱讀 4332

元件節點

埠配置

用途說明

http服務的埠

https服務的埠

hdfs

namenode

8020

fs.defaultfs

接收client連線的rpc埠,用於獲取檔案系統metadata資訊。

hdfs

datanode

50010

dfs.datanode.address

datanode服務埠,用於資料傳輸

http服務的埠

https服務的埠

hdfs

datanode

50020

dfs.datanode.ipc.address

ipc服務的埠

hdfs

journalnode

8485

dfs.journalnode.rpc-address

rpc服務

http服務

元件節點

埠配置

用途說明

yarn

resourcemanager

8032

yarn.resourcemanager.address

yarn

resourcemanager

8030

yarn.resourcemanager.scheduler.address

scheduler元件的ipc埠

yarn

resourcemanager

8031

yarn.resourcemanager.resource-tracker.address

ipcyarn

resourcemanager

8033

yarn.resourcemanager.admin.address

ipcyarn

resourcemanager

8088

http服務埠

yarn

nodemanager

8040

yarn.nodemanager.localizer.address

localizer ipc

yarn

nodemanager

8042

http服務埠

yarn

nodemanager

8041

yarn.nodemanager.address

nm中container manager的埠

yarn

jobhistory server

10020

mapreduce.jobhistory.address

ipcyarn

jobhistory server

19888

http服務埠

元件節點

埠配置

用途說明

hbase

master

60000

hbase.master.port

ipchbase

master

60010

hbase.master.info.port

http服務埠

hbase

regionserver

60020

hbase.regionserver.port

ipchbase

regionserver

60030

hbase.regionserver.info.port

http服務埠

hbase

hquorumpeer

2181

hbase.zookeeper.property.clientport

hbase-managed zk mode,使用獨立的zookeeper集群則不會啟用該埠。

hbase

hquorumpeer

2888

hbase.zookeeper.peerport

hbase-managed zk mode,使用獨立的zookeeper集群則不會啟用該埠。

hbase

hquorumpeer

3888

hbase.zookeeper.leaderport

hbase-managed zk mode,使用獨立的zookeeper集群則不會啟用該埠。

元件節點

埠配置

用途說明

hive

metastore

9083

/etc/default/hive-metastore中export port=來更新預設埠

hive

hiveserver

10000

/etc/hive/conf/hive-env.sh中export hive_server2_thrift_port=來更新預設埠

元件節點

埠配置

用途說明

zookeeper

server

2181

/etc/zookeeper/conf/zoo.cfg中clientport=

對客戶端提供服務的埠

zookeeper

server

2888

/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分

follower用來連線到leader,只在leader上監聽該埠。

zookeeper

server

3888

/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分

用於leader選舉的。只在electionalg是1,2或3(預設)時需要。

hadoop常見問題彙總

本文彙總了幾個hadoop yarn中常見問題以及解決方案,注意,本文介紹解決方案適用於hadoop 2.2.0以及以上版本。1 預設情況下,各個節點的負載不均衡 任務數目不同 有的節點很多任務在跑,有的沒有任務,怎樣讓各個節點任務數目盡可能均衡呢?答 預設情況下,資源排程器處於批排程模式下,即乙個...

常見埠及其服務彙總

dhcp 伺服器端的埠號是67 dhcp 客戶機端的埠號是58 pop3 pop3僅僅是接受協議,pop3客戶端使用smtp向伺服器傳送郵件,埠號110 smtp 不關心郵件如何被傳送,只關心郵件是否能順利到達目的地,埠號25 telent 埠號23 ftp 埠號20和21 其中20埠用於資料傳輸,...

Hadoop 學習筆記十 常見問題彙總

1 could only be replicated to 0 nodes instead of minreplication 1 執行hive時出現這個錯誤,在hadoop上執行jps,發現datanode沒有啟動起來,需要啟動datanode 81 9000.exiting.datanode日誌...