hadoop 2.0中存在兩個ipc包, 分別為hadoop rpc和新的yarnrpc, 本文簡要描述了兩種rpc.
hadoop 2.0中存在兩個ipc包, 分別在hadoop-common和hadoop-yarncommon專案下. 分別為hadoop rpc和新的yarnrpc.
1. 使用hadoop ipc包的協議
原有的協議
協議名客戶端
服務端主要方法
clientprotocol
client
namenode
datanodeprotocol
dnnn
namenodeprotocol
snnnn
refreshauthorizationpolicyprotocol
client
nnclient
nnclient
nntaskumbilicalprotocol
yarnchild(執行task的containner)
am狀態更新, 獲取map結束事件等
2. 使用yarnrpc的協議
這些都是用在yarn上的協議, 並且都是0.23開始新增的協議.
協議名客戶端
服務端主要方法
clientrmprotocol
client
rm提交,查詢,kill am等
amrmprotocol
amrm
註冊, 結束am, 請求資源
containermanager
amnm
啟動, 停止, 查詢 container
rmadminprotocol
client
rm重新整理node, queu, acl等
hsclientprotocol
client
historyserver
繼承於mrclientprotocol
mrclientprotocol
client
am獲取job/task資訊, kill job/task等
下圖顯示了yarn中各個程序使用的協議.
3. 為什麼要新增yarnrpc呢
事實上, yarnrpc只是封裝了hadoop-common的ipc, 最終還是使用了hadoop-common的ipc包, 包括server和client, 所以底層的網路通訊方法是一樣的.
新增的協議都使用了yarnrpc包,
至於底層使用何種序列化方式, 可以通過配置決定:
yarnrpc的底層序列化方式: yarn. ipc. serializer.type 預設為protocolbuffers
hadoop-common rpc的序列化方式: rpc.engine.( protocol.getname()) 預設為writablerpcengine
hadoop 2 0中配置檔案詳解
配置hadoop，主要是配置core site.xml,hdfs site.xml,mapred site.xml，yarn default.xml這些就是預設配置,可以參考這些配置的說明和key，配置hadoop集群。2.瀏覽apache官網,四個配置檔案鏈結如下 這裡是瀏覽hadoop當前版本號...
Hadoop1 0與Hadoop2 0的區別
hadoop1.0即第一代hadoop，指的是版本為apache hadoop 0.20.x 1.x或者cdh3系列的hadoop，核心主要由hdfs和mapreduce兩個系統組成，其中mapreduce是乙個離線處理框架，由程式設計模型 新舊api 執行時環境 jobtracker和tasktr...
hadoop1 0和hadoop2 0的區別
1.hadoop 1.0中的資源管理方案hadoop 1.0指的是版本為apache hadoop 0.20.x 1.x或者cdh3系列的hadoop，核心主要由hdfs和mapreduce兩個系統組成，其中，mapreduce是乙個離線處理框架，由程式設計模型 新舊api 執行時環境 jobtra...