hadoop2.x入門：hadoop的啟動方式，本內容基於hadoop-2.7.2。
1. hadoop啟動方式
我們執行hadoop安裝目錄下的sbin/***-***.sh
#各服務元件逐一啟動：
hdfs
hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
yarn
yarn-daemon.sh start|stop resourcemanager|nodemanager
mapreduce
mr-jobhistory-daemon.sh start|stop historyserver
#各模組分開啟動
hdfs
start-dfs.sh|stop-dfs.sh
yarn
yarn-dfs.sh|yarn-dfs.sh
#全部啟動
start-all.sh|stop-all.sh初始學習階段可以使用start-all.sh啟動全部。
2. 通過web了解hadoop的執行活動
注意：是hadoop2.x，因為hadoop2.x和hadoop1.x配置和預設埠不一樣
通過用瀏覽器和http訪問jobtracker所在節點的8088埠監控jobtracker 通過用瀏覽器和http訪問namenode所在節點的50070埠監控集群
例如：http://master:8088
3. 常用埠
hadoop集群的各部分一般都會使用到多個埠，有些是daemon之間進行互動之用，有些是用於rpc訪問以及http訪問。而隨著hadoop周邊元件的增多，完全記不住哪個埠對應哪個應用，特收集記錄如此，以便查詢。
這裡包含我們使用到的元件：hdfs, yarn
元件節點
預設埠
配置用途說明
hdfs
datanode
50010
dfs.datanode.address
datanode服務埠，用於資料傳輸
http服務的埠
https服務的埠
http服務的埠
https服務的埠
hdfs
namenode
8020
fs.defaultfs
接收client連線的rpc埠，用於獲取檔案系統metadata資訊。
hdfs
journalnode
8485
dfs.journalnode.rpc-address
rpc服務
http服務
yarn
resourcemanager
8032
yarn.resourcemanager.address
rm的applications manager(asm)埠
yarn
resourcemanager
8030
yarn.resourcemanager.scheduler.address
scheduler元件的ipc埠
yarn
resourcemanager
8031
yarn.resourcemanager.resource-tracker.address
ipc
yarn
resourcemanager
8033
yarn.resourcemanager.admin.address
ipc
yarn
resourcemanager
8088
yarn.resourcemanager.webapp.address
http服務埠
yarn
nodemanager
8040
yarn.nodemanager.localizer.address
localizer ipc
yarn
nodemanager
8042
yarn.nodemanager.webapp.address
http服務埠
yarn
nodemanager
8041
yarn.nodemanager.address
nm中container manager的埠
yarn
jobhistory server
10020
mapreduce.jobhistory.address
ipc
yarn
jobhistory server
19888
mapreduce.jobhistory.webapp.address
http服務埠
hadoop2 x入門 Hadoop的啟動方式
本內容基於hadoop 2.7.2 1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondarynamenode yarn yarn daemon...
大資料基礎Hadoop 2 x入門
儲存和分析網路資料 三大元件 hdfs yarn common hive 蜜蜂 通過使用sql語句來執行hadoop任務 hbase 儲存結構化資料的分布式資料庫 zookeeper 維護節點狀態 使用docker安裝 docker run i t p 50070 50070 p 9000 9000...
hadoop2 x安裝（準備工具）
每次換電腦的時候都要把hadoop的環境重新的搭建一遍，每次配置的時間不是很長，但是準備的時間浪費很多，都是一些常用的工具軟體還有對應的外掛程式，映象什麼的。所以這次在部落格上總結一下。算是一種複習，也算是為剛接觸hadoop的同學乙個方便的思路。下面我將分為幾部分來描述搭建hadoop2.x的所有...