大資料 Hadoop學習筆記10

ipc程序間通訊（inter process communication）

rpc遠端過程呼叫（remote procedure call）

1.實現原理

【client】
1.client.class，且遵循versionprotocal協議
2.通過**和伺服器端打交道
【server】
1.server.class，且遵循versionprotocal協議
2.server端有具體實現
2.建立客戶端服務端

【服務端】

public
class myserver 
}

public

class myclient  catch (ioexception e) 
}}

3.建立乙個介面helloworldservice繼承於versionedprotocol

public

inte***ce
helloworldservice
extends
versionedprotocol

4.啟動伺服器再啟動客戶端

1.切片大小和block相當,優化策略

a)資料本地化優化策略
b)機架本地化策略
c)不同機架執行任務
d)

大資料之 Hadoop學習筆記

1 hadoop生態系統 hdfs 分布式檔案系統 hadoop hdfs 2.7.2.jar ambari 安裝部署配置和管理工具 zookeeper分布式協作服務zookeeper 3.5.1.jar hbase實時分布式資料庫hbase server 1.0.2.jar hive資料倉儲hiv...

大資料Hadoop學習六

1 hadoop的改進 hadoop 1.0到2.0的改進分為mapreduce和hdfs架構的演進。另一方面，不斷加入kafka，spark,pig，tez等新的元件。hadoop2.0 針對hdfs涉及了hdfs ha，提供名稱節點的熱備份 設計了hdfs federation管理多個命名空間 ...

Hadoop大資料開發框架學習

hadoop是apache發布的開源分布式基礎架構 他的兩個核心是 兩部分就組成了hadoop的分布式基礎架構 hdfs作為hadoop為儲存海量資料，自然有著與傳統檔案系統有著不同的結構，它是以linux檔案系統的基礎的架構，構建裡一套分布式檔案系統，它是由乙個namenode和多台datanod...