繼《零起點部署大資料虛擬化》系列教程之後,本著「知其然,亦知其所以然」的原則,
serengeti虛擬化應用
vsphere big data extensions (bde)是vmware基於 serengeti開源技術的企業發行版。其重點是增強vsphere基礎架構對serengeti的支援,更好地部署、執行和管理大資料相關負載。
從部署角度看,bde打包了serengeti虛擬化應用,並且包括乙個vcenter網頁客戶端的外掛程式。
包括serengeti管理伺服器和
虛擬機器模板。這個應用可以很容易地部署在vmware的vcenter之上。
大資料虛擬化(bde/serengeti
)的部署結構圖
serengeti
管理伺服器
是整個serengeti的核心部件,提供hadoop集群在虛擬化環境下的部署,管理的功能。並且為不同使用者提供不同的資源使用策略。
對資源利用率要求高的客戶,可以在serengeti的幫助下,使資源在hadoop應用和其他應用之間有效的共享。而對於hadoop的performance有更高要求的客戶,則可以通過serengeti實現資源在不同應用之間完美隔離,達到在資源獨佔情況下的最優使用效果。
serengeti管理伺服器對外提供restapi,以便遠端客戶端訪問和控制hadoop集群。serengeticli和bde的ui 外掛程式都是通過restapi訪問serengeti管理伺服器的。
hadoop 集群的所有虛擬機器都是從serengeti虛擬機器模板直接或間接複製而來,其中包括乙個基本的centos作業系統,簡單的集群安裝需要的軟體。但是其中不包含hadoop的安裝包,是因為serengeti可以支援多種hadoop發行版,這些軟體的安裝是在集群的建立過程中完成的。
部署完成之後,
serengeti
管理伺服器作為乙個虛擬化應用執行在某一台虛擬主機中。並且註冊成為
vcenter
的乙個擴充套件伺服器。之後,
serengeti
會和vcenter
建立ssl
鏈結,確保資料互動的安全性和可靠性。
未完待續... 之後會討論下篇 - vsphere big data extensions/serengeti的系統架構,敬請期待!
如有任何問題,您可以發郵件至[email protected]。
關於vspherebig data extensions:
作者簡介
藺永華 (
emma lin)
vmware
高階開發工程師,
staff engineer
擔任vmware大資料產品vsphere bde、serengeti開源專案的技術帶頭人,引領和參與serengeti核心架構與功能的設計和研發,經歷
serengeti
自問世以來的
6個版本的研發和發布。長期致力於通過
vsphere bde/
serengeti
使vmware
虛擬化基礎架構
成為大資料應用的最好選擇。在
vmware
之前,就職於
bea/oracle
軟體開發中心,長期從事分布式系統的開發、設計工作,擁有豐富的企業軟體開發經驗。
大資料系統架構模組解析
企業要開展大資料相關業務,首先就需要基於自身的需求,來設計搭建資料系統平台。而大資料系統平台的搭建,需要基於實際需求,來進行系統架構規劃。今天我們就從大資料平台開發的角度,來對大資料系統架構模組做乙個簡單的介紹。在實際的業務場景當中,每個公司的需求是不一樣的,因此大資料平台開發需要選擇適合自己的技術...
大資料入門 Hbase基礎架構解析
hadoop技術生態當中的hbase,其實全稱叫做hadoop database,顧名思義,所謂hbase,其實也就是hadoop的資料,而從架構的角度來說,hbase就是乙個分布式儲存系統。今天的大資料入門分享,我們來講講hbase的基礎架構。hbase的前身,其實是google 三駕馬車 之一的...
大資料平台開發 大資料系統架構模組解析
企業要開展大資料相關業務,首先就需要基於自身的需求,來設計搭建資料系統平台。而大資料系統平台的搭建,需要基於實際需求,來進行系統架構規劃。今天我們就從大資料平台開發的角度,來對大資料系統架構模組做乙個簡單的介紹。在實際的業務場景當中,每個公司的需求是不一樣的,因此大資料平台開發需要選擇適合自己的技術...