BI生態圈常用埠使用配置總結

2022-07-22 07:15:14 字數 4208 閱讀 1045

hadoop集群的各部分一般都會使用到多個埠,有些是daemon之間進行互動之用,有些是用於rpc訪問以及http訪問。而隨著hadoop周邊元件的增多,完全記不住哪個埠對應哪個應用,特收集記錄如此,以便查詢。

這裡包含我們使用到的元件:hdfs, yarn, hbase, hive, zookeeper:

元件節點

預設埠

配置用途說明

hdfs

datanode

50010

dfs.datanode.address

datanode服務埠,用於資料傳輸

http服務的埠

https服務的埠

hdfs

datanode

50020

dfs.datanode.ipc.address

ipc服務的埠

http服務的埠

https服務的埠

hdfs

namenode

8020

fs.defaultfs

接收client連線的rpc埠,用於獲取檔案系統metadata資訊。

hdfs

journalnode

8485

dfs.journalnode.rpc-address

rpc服務

http服務

hdfs

zkfc

8019

dfs.ha.zkfc.port

zookeeper failovercontroller,用於nn ha

yarn

resourcemanager

8032

yarn.resourcemanager.address

yarn

resourcemanager

8030

yarn.resourcemanager.scheduler.address

scheduler元件的ipc埠

yarn

resourcemanager

8031

yarn.resourcemanager.resource-tracker.address

ipcyarn

resourcemanager

8033

yarn.resourcemanager.admin.address

ipcyarn

resourcemanager

8088

http服務埠

yarn

nodemanager

8040

yarn.nodemanager.localizer.address

localizer ipc

yarn

nodemanager

8042

http服務埠

yarn

nodemanager

8041

yarn.nodemanager.address

nm中container manager的埠

yarn

jobhistory server

10020

mapreduce.jobhistory.address

ipcyarn

jobhistory server

19888

http服務埠

hbase

master

60000

hbase.master.port

ipchbase

master

60010

hbase.master.info.port

http服務埠

hbase

regionserver

60020

hbase.regionserver.port

ipchbase

regionserver

60030

hbase.regionserver.info.port

http服務埠

hbase

hquorumpeer

2181

hbase.zookeeper.property.clientport

hbase-managed zk mode,使用獨立的zookeeper集群則不會啟用該埠。

hbase

hquorumpeer

2888

hbase.zookeeper.peerport

hbase-managed zk mode,使用獨立的zookeeper集群則不會啟用該埠。

hbase

hquorumpeer

3888

hbase.zookeeper.leaderport

hbase-managed zk mode,使用獨立的zookeeper集群則不會啟用該埠。

hive

metastore

9083

/etc/default/hive-metastore中export port=來更新預設埠

hive

hiveserver

10000

/etc/hive/conf/hive-env.sh中export hive_server2_thrift_port=來更新預設埠

zookeeper

server

2181

/etc/zookeeper/conf/zoo.cfg中clientport=

對客戶端提供服務的埠

zookeeper

server

2888

/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分

follower用來連線到leader,只在leader上監聽該埠。

zookeeper

server

3888

/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分

用於leader選舉的。只在electionalg是1,2或3(預設)時需要。

所有埠協議均基於tcp。

對於存在web ui(http服務)的所有hadoop daemon,有如下url:

/loglevel 

允許你設定log4j的日誌記錄級別,類似於hadoop daemonlog

/stacks 

所有執行緒的stack trace,對於debug很有幫助

/jmx 

服務端的metrics,以json格式輸出。

/jmx?qry=hadoop:*會返回所有hadoop相關指標。 

/jmx?get=mxbeanname::attributename 查詢指定bean指定屬性的值,例如/jmx?get=hadoop:service=namenode,name=namenodeinfo::clusterid會返回clusterid。 

這個請求的處理類:org.apache.hadoop.jmx.jmxjsonservlet

而特定的daemon又有特定的url路徑特定相應資訊。

hdfs資訊頁面,其中有鏈結可以檢視檔案系統

/dfsnodelist.jsp?whatnodes=(dead|live) 

顯示dead或live狀態的datanode

/fsck 

執行fsck命令,不推薦在集群繁忙時使用!

每個datanode都會指定間隔驗證塊資訊

產業生態圈和生態圈

突然想到這麼乙個比喻,不是想說明什麼。想起以前經常看到的android生態圈,mac生態圈,win生態圈之類。是不是可以把 產業生態圈 產業鏈 和 生態圈 食物鏈 做模擬?生態學裡面也形象的把以自養生物為食物的動物稱為初級消費者。市場這個 生態圈 裡的各級 消費者 傳遞的不是能量,而是利潤 空白市場...

Hadoop生態圈普及

大資料一路走來,從最開始的hadoop1.0 逐漸發展到hadoop2.0。hadoop的橫空出世引領了大資料行業技術的發展。逐漸以分布式並行離線處理框架mapreduce 分布式檔案儲存系統hdfs以及排程系統yarn為中心,發展出龐大的生態圈,比如hive hbase zookeeper等等,豐...

Hadoop生態圈初識

一 簡介 hadoop是乙個由apache 會所開發的分布式系統基礎架構。hadoop的框架最核心的設計就是 hdfs和mapreduce。hdfs為海量的資料提供了儲存,則mapreduce為海量的資料提供了計算。二 hdfs hadoop distributed file system,簡稱hd...