Hive資料倉儲基本概念

2022-07-02 14:12:12 字數 1332 閱讀 4080

1.基本概念

資料倉儲的目的是構建面向分析的整合化資料環境,為企業提供決策支援。資料倉儲是存資料的,企業的各種資料都往裡面存,主要目的是分析有效資料,後續會基於它產出供分析挖掘的資料。

2.資料倉儲的分層架構

------------恢復內容開始------------

1.基本概念

資料倉儲的目的是構建面向分析的整合化資料環境,為企業提供決策支援。資料倉儲是存資料的,企業的各種資料都往裡面存,主要目的是分析有效資料,後續會基於它產出供分析挖掘的資料。

2.資料倉儲的分層架構

3.hive的概念

hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張資料庫表,並提供類sql查詢功能

其本質是將sql轉換成mapreduce的任務進行運算,底層是由hdfs來提供資料的儲存,說白了hive可以理解為乙個將sql轉換成mapreduce的任務的工具。

4.hive的架構

5.hive的互動方式

進入hive的安裝目錄下的bin,目錄,執行hive命令

show databases:檢視所有資料庫

cerate database if not exists mydatabase:如果mydatabase資料庫不存在就建立

use mydatabase:使用mydatabase資料庫

create table:建立表

不進入hive的客戶端直接執行hive的hql語句

或者將hql語句寫成乙個sql指令碼,然後執行

資料倉儲的基本概念

1資料倉儲 1.1概念 資料倉儲 datawarehouse 的概念是e.f.codd於1993年的一篇文章中提出的。資料倉儲的主要功能是提供企業決策支援系統 dss 或行政資訊系統 eis 所需要的資訊,它把企業日常營運中分散不一致的資料經歸納整理之後轉換為集中統一的 可隨時取用的深層資訊,這種資...

資料倉儲ETL(二)基本概念

資料治理領域有一些基本名詞,資料倉儲,資料探勘,商業智慧型,資料同步,聯機計算等等,下面一起看一下專有的名詞。資料庫,一般指支撐應用的資料庫,包括mysql,oracle,postgresql,sqlserver等關係型資料庫,也可以是mongodb,redis,hbase等非關係型資料庫。特點是保...

Hive 資料倉儲

hive命令列模式 1 進入bin 執行.hiv 2 配置hive環境變數,直接執行命令 hive service cli 或 hive hive的web模式 執行hive service hwi 啟動後訪問http master 9999 hwi hive的遠端服務 預設埠 10000,執行啟動命...