資料儲存型別:
資料倉儲:乙個支援管理決策程序的面向主題的,整合的,隨時間變化的,永久儲存的資料集合;
資料集市:資料倉儲的子集,用於提高部分使用者的分析效能;
資料中轉區:資料暫存區.資料流**資料來源->資料中轉區->資料倉儲.用於簡化資料倉儲的資料來源整合規則;同時便於資料倉儲進行資料清洗,轉換;
運算元據儲存:資料流**資料來源->資料中轉區->運算元據儲存->資料倉儲.整合變化的最新資料,減少資料倉儲的資料變化;
資料湖:乙個以資料原始格式儲存資料的儲存庫,使用時再決定具體結構;
通過這些儲存方式進行資料分析方式的方式:
拷貝
etlelt
問題:流程長,時效性差,非操作型實時分析
資料虛擬化:一種給資料使用者提供乙個統一,抽象,封裝的檢視,來查詢,操作異構資料儲存集合中資料的技術.
核心:封裝,抽象,資料聯合(按需整合),資料整合(合併,轉換,清洗)
資料虛擬化服務模型:
設計模型:用於資料定義
元資料規範:轉換,清洗,整合規範
執行模型:資料使用者訪問虛擬化層使用的模型,核心功能:排程程式,儲存引擎,快取管理,查詢優化等;
資料流轉流程:
請求方->虛擬化服務api->虛擬表->對映->封裝表->源表
源表:時間多源資料的物理儲存表
封裝表:虛擬化層對於源表資料進行封裝所形成的表,也被稱為檢視
虛擬表:顯示資料與封裝表對映所形成的表,是具體呈現給請求方的表結構;
元資料元資料:用於描述資料的資料.便於資料使用定義的資料.可以理解為標籤;
KVM QEMU虛擬化概念
概念 kvm,即kernel basedvirtual machine,由redhat開發,是一種開源 免費的虛擬化技術。對企業來說,是一種可選的虛擬化解決方案。定義 基於linux核心的虛擬機器 解釋 kvm xen hyper v 這類 hypervisor 是為商用而生的,他們本身就是一種 o...
虛擬化技術簡單概念
1 引入虛擬化技術的必要性 2 虛擬化的概念 虛擬化是指通過虛擬化技術將計算機虛擬為多台邏輯計算機。在一台計算機上同時執行多個邏輯計算機,每個邏輯計算機可執行不同的作業系統,並且應用程式都可以相互在獨立的空間內執行而互不影響。從而顯著提高計算機的工作效率。3 簡單虛擬化示意圖 虛擬化前 虛擬化後 4...
虛擬化技術基礎
1965年,ibm公司開發出世界上第乙個虛擬機器 system360。1980年,ibm繼續推出了system370,標誌著虛擬化技術的成熟。以上都是大型機上的虛擬機器。之後,隨著硬體的發展,虛擬化技術在小型機上也得到了應用。1997年,disco系統實現了共享記憶體的大規模處理器系統上執行桌面作業...