節點分配：
控制節點14個、資料節點16個
hdfs
namenode（server01-server02）、datanode（server15-server30）、journalnode（server09-server11）、zkfc（server01-server02）
yarn
resourcemanager（server06、server08）、nodemanager（server15-server30）、jobhistoryserver（server06）
hbase
hmaster（server10-server11）、regionserver（server15-server30）、thriftserver（server09-server11）
zookeeper
quorumpeer（server03-server05）
hive
hiveserver（server12、server14）、hivemetastoreserver（server12、server14）
spark
sparkmaster（server06-server07）、sparksql（server07）、sparkworker（server15-server30）
storm
nimbus（server09、server11）、supervisor（server15-server30）
solr
solrserver（server15-server30）
kafka
kafka（server15-server30）
flume
flume（server15-server30）
huehue（server13）
sqoop
sqoop（server14）
dbserver
mysql（server12）
imapla
imaplad（server15-server30）、statestore（server03-server05）、catalog（server03-server05）
埠號分配：元件
節點預設埠
配置用途說明
hdfs
datenode
50010
dfs.datanode.address
datanode服務埠，用於資料傳輸
http服務的埠
hdfs
datenode
50020
dfs.datanode.ipc.address
ipc服務的埠
http服務的埠
hdfs
namenode
8020
fs.defaultfs
接收client連線的rpc埠，用於獲取檔案系統metadata資訊。
hdfs
journalnode
8485
dfs.journalnode.rpc-address
rpc服務
http服務
hdfs
zkfc
8019
dfs.ha.zkfc.port
zookeeper failovercontroller，用於nn ha
yarn
resourcemanage
8088
http服務埠
yarn
nodemanager
8042
http服務埠
yarn
jobhistory server
10020
mapreduce.jobhistory.address
ipcyarn
jobhistory server
19888
http服務埠
hbase
master
60000
hbase.master.port
ipchbase
masterui
16010
hbase.master.info.port
http服務埠
hbase
regionserver
16020
hbase.regionserver.port
ipchbase
regionserver
16030
hbase.regionserver.info.port
http服務埠
hbase
thriftserver
9090
thriftserver
hive
metastore
9083
/etc/default/hive-metastore
export port=
hive
hiveserver
10000
/etc/hive/conf/hive-env.sh
export hive_server2_thrift_port=
zookeeper
server
2181
/etc/zookeeper/conf/zoo.cfg中clientport=
對客戶端提供服務的埠
zookeeper
server
2888
/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]
follower用來連線到leader，只在leader上監聽該埠
zookeeper
server
3888
/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]
用於leader選舉的。只在electionalg是1,2或3(預設)時需要
啟動命令：
集群元件
節點命令
hdfs
namenode
hadoop-daemon.sh start namenode
datanode
hadoop-daemon.sh start datanode
journalnode
hadoop-daemon.sh start journalnode
zkfc
yarn
resourcemanager
yarn-daemon.sh start resourcemanager
nodemanager
yarn-daemon.sh start nodemanager
jobhistoryserver
mr-jobhistory-daemon.sh start historyserver
hbase
hmaster
hbase-daemon.sh start master
regionserver
hbase-daemon.sh start regionserver
thriftserver
hbase-deamon.sh start thrift2
zookeeper
quorumpeer
zkserver.sh start
hive
hiveserver
hive --service metastore &
hivemetastoreserver
hive --service hiveserver2 &
spark
spark master
start-master.sh
spark sql
spark-sql
spark worker
start-master.sh
hadoop實踐部署
最近自己開始部署hadoop相關一套環境，目前還沒在生產環境下使用，只在cygwin的虛擬環境下進行的搭建，參考各安裝手冊後，發現還是有些出入，特整理下我搭建的步驟。首先安裝cygwin，接著是sshd hadoop zookeeper hbase 我安裝的過程，參考的是 hadoop開發者第一期....
hadoop筆記 HA部署
管理指令碼遠端管理節點，再集群中隨便挑一台，把公鑰發給所有 搭建ha時，namenode的zkfc需要免秘鑰，用來管理自己和對方 故障應對 邏輯物理對映 jn相關配置，資訊描述 故障發生時免秘鑰配置 還有一種是shell指令碼 記得格式化之前啟動jn 第一台格式化之後啟動，並且讓後續namenode...
單機版hadoop部署
單機版hadoop部署 解除安裝自帶的jdk，安裝自己的jdk 1.tar zxf tmp hadoop 2.6.5.tar.gz c usr local 解壓到 usr local中 2.cd usr local 3.mv hadoop 2.6.0 hadoop 將資料夾名改為hadoop 4.c...