Hadoop的基本組成

2021-08-17 00:23:39 字數 418 閱讀 8624

hadoop主要包含了四個模組:

即:hadoop common

hadoop工具包,為其它hadoop模組提供基礎設施。

hadoop hdfs

對海量資料的儲存。hadoop分布式檔案系統,用於儲存海量資料;具有分布式特徵;安全性:同時儲存三份副本資料

hadoop mapreduce

對海量資料的處理。也是分布式處理的策略。

其思想是:

分而治之

大資料及分為多個小的資料集

對於每個小的資料集進行邏輯業務的處理(map)

合併統計資料的結果(reduce)

yarn

乙個新的mapreduce框架,主要用於任務排程與資源管理。

分布式資源管理---用於管理集群的資源(cpu、記憶體等)

分布式任務排程

server基本組成

字串操作封裝,如 數字字串轉換 分隔符拆分 等常用操作 string handle 網路基礎資料結構,如 ip數字轉換 獲取網域名稱 物件池封裝 位儲存 bit map 序列化反序列化buffer octets,能夠支援寫時拷貝以及壓縮功能 阻塞佇列 block queue ring buffer ...

Docker基本組成

docker client 客戶端 docker daemon 守護程序 c s架構的程式,docker客戶端向docker的伺服器端 守護程序 發出請求,守護程序處理完所有的工作,並返回結果 客戶端對伺服器端的訪問既可以在本地也可以在遠端來訪問。docker image 映象 1 理解一 映象是d...

mysql基本組成

連線管理器 連線使用者請求 執行緒管理器 啟用執行緒連線處理使用者請求 使用者模組 對連線mysql伺服器的使用者做認證,並複製接受與駁回動作 命令分發模組 對使用者的sql語句分析並分發到解析器 快取模組 如果是查詢語句且快取命中,則直接快取返回 日誌模組 日誌記錄 解析器 解析查詢,生成解析數,...