hadoop主要包含了四個模組:
即:hadoop common
hadoop工具包,為其它hadoop模組提供基礎設施。
hadoop hdfs
對海量資料的儲存。hadoop分布式檔案系統,用於儲存海量資料;具有分布式特徵;安全性:同時儲存三份副本資料
hadoop mapreduce
對海量資料的處理。也是分布式處理的策略。
其思想是:
分而治之
大資料及分為多個小的資料集
對於每個小的資料集進行邏輯業務的處理(map)
合併統計資料的結果(reduce)
yarn
乙個新的mapreduce框架,主要用於任務排程與資源管理。
分布式資源管理---用於管理集群的資源(cpu、記憶體等)
分布式任務排程
server基本組成
字串操作封裝,如 數字字串轉換 分隔符拆分 等常用操作 string handle 網路基礎資料結構,如 ip數字轉換 獲取網域名稱 物件池封裝 位儲存 bit map 序列化反序列化buffer octets,能夠支援寫時拷貝以及壓縮功能 阻塞佇列 block queue ring buffer ...
Docker基本組成
docker client 客戶端 docker daemon 守護程序 c s架構的程式,docker客戶端向docker的伺服器端 守護程序 發出請求,守護程序處理完所有的工作,並返回結果 客戶端對伺服器端的訪問既可以在本地也可以在遠端來訪問。docker image 映象 1 理解一 映象是d...
mysql基本組成
連線管理器 連線使用者請求 執行緒管理器 啟用執行緒連線處理使用者請求 使用者模組 對連線mysql伺服器的使用者做認證,並複製接受與駁回動作 命令分發模組 對使用者的sql語句分析並分發到解析器 快取模組 如果是查詢語句且快取命中,則直接快取返回 日誌模組 日誌記錄 解析器 解析查詢,生成解析數,...