Hive基本原理

2021-09-02 19:52:12 字數 1358 閱讀 2428

一、hive基本原理

hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的sql查詢功能,可以將sql語句轉換為mapreduce任務進行執行。 其優點是學習成本低,可以通過類sql語句快速實現簡單的mapreduce統計,不必開發專門的mapreduce應用,十分適合資料倉儲的統計分析。

hive將元資料儲存在資料庫(rdbms)中,比如mysql、derby中。hive有三種模式連線到資料,其方式是:單使用者模式,多使用者模式和遠端服務模式。(也就是內嵌模式

、本地模式、遠端模式)。

1.1 hive體系結構:

hive體系結構圖:主要分為:使用者介面、thrift伺服器、元資料儲存、解析器、hadoop

1.2 hive資料型別

hive的儲存是建立在hadoop檔案系統之上的,它本身沒有專門的資料儲存格式,其主要包括四類資料模型:

表(table)

分割槽(partition)

桶(bucket)

外部表(external table)

hive的內建資料型別可以分為兩大類:(1)、基礎資料型別;(2)、複雜資料型別。其中,基礎資料型別包括:tinyint,smallint,int,bigint,boolean,float,double,string,binary,timestamp,decimal,char,varchar,date。

1.3hive的執行流程要點

常見的hive操作符(部分)如下:

1.4 hive的hql操作

hive基本的執行操作其實和sql差不多,例如:

select u.name, o.orderid from order o join user u on o.uid = u.uid;  

select dealid, count(distinct uid), count(distinct date) from order group by dealid;  

簡單hive表語句:

create table student

(name string,

*** string,

age int);

mysql的基本原理 Mysql 基本原理

mysql 基本原理 mysql是一種關聯式資料庫管理系統,關聯式資料庫將資料儲存在不同的表中,而不是將所有資料放在乙個大倉庫內,這樣就增加了速度並提高了靈活性 ysql是資料庫登入命令 uroot預設超級使用者登入 p 預設沒密碼 中寫密碼 mysqladmin uroot password 12...

8 2 1 基本原理

乙個舞台動畫物件在包含許多舞台資訊 出現在何處,佔多大面積,處在什麼角度,是否可見 這些資訊分別儲存在動畫物件的屬性中。在 中讀取這些屬性可以了解物件的位置 大小 角度等狀態資訊 修改這些屬性可以改變物件的位置 大小 角度等狀態。如果從資料的角度去理解,動畫就是在固定時間間隔點不斷修改動畫物件某項屬...

Csocket基本原理

我通過幾個採用 csocket 類編寫並基於 client server 客戶端 服務端 的網路聊天和傳輸檔案的程式 在除錯這些程式的過程中,追蹤深入至 csocket 類核心原始碼 sockcore.cpp 對於csocket 類的執行機制可謂是一覽無遺,並且對於阻塞和非阻塞方式下的 socket...