大資料平台下多租戶架構研究

多租戶技術（multi-tenancy technology）是一種軟體架構

技術，它是在**與實現如何於多使用者的環境下共用相同的系統或程式元件，並且仍可確保各使用者間資料的隔離性。在大資料環境下實現多租戶涉及如下關鍵技術：

1. 資源池

hadoop資源池(pool)，或者作業池。每個pool裡有一定量的資源（管理員配置），每個使用者屬於某個pool，其提交的作業可使用這個pool中的資源。資源的分配主要是依據cpu虛擬核數和記憶體量。

2. 公平排程

是一種賦予作業（job）資源的方法，它的目的是讓所有的作業隨著時間的推移，都能平均的獲取等同的共享資源。當單獨乙個作業在執行時，它將使用整個集群。當有其它作業被提交上來時，系統會將任務（task）空閒時間片（slot）賦給這些新的作業，以使得每乙個作業都大概獲取到等量的cpu時間

3、kerberos

kerberos

可以將認證的金鑰在集群部署時事先放到可靠的節點上。集群執行時，集群內的節點使用金鑰得到認證。只有被認證過節點才能正常使用。企圖冒充的節點由於沒有事先得到的金鑰資訊，無法與集群內部的節點通訊。

4、sentry

sentry

是乙個hadoop的授權模組，為了對正確的使用者和應用程式提供精確的訪問級別,包括乙個核心授權提供者和乙個結合層。可以實現對hive、hbase細粒度級、基於角色的授權。

基於以上關鍵技術設計大資料中心下的多租戶功能架構，主要包括如下功能模組：

1、租戶管理

建立及管理租戶基本資訊並為租戶分配計算資源和儲存資源，為租戶分配相應的許可權模型。監控租戶資源的使用情況包括當前cpu、記憶體資源的使用以及歷史使用情況，儲存資源的占用及空閒情況，租戶下執行作業情況等。

2、許可權管理

針對hive庫表、hbase表、hdfs檔案系統中的檔案及目錄操作、mr作業提交配置相應的許可權模型，分配模型給對應的租戶使其針對不同物件具有建立、修改、查詢等不同許可權。

3、資源管理

基於cpu

和記憶體為粒度設計資源池，為資源池配置獨佔資源量、共享資源量、搶占時間、資源權重等引數。監控整個平台各資源池的使用情況，動態調整資源配置以達到充分利用大資料平台能力。