一、hive基本原理
hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的sql查詢功能,可以將sql語句轉換為mapreduce任務進行執行。 其優點是學習成本低,可以通過類sql語句快速實現簡單的mapreduce統計,不必開發專門的mapreduce應用,十分適合資料倉儲的統計分析。
hive將元資料儲存在資料庫(rdbms)中,比如mysql、derby中。hive有三種模式連線到資料,其方式是:單使用者模式,多使用者模式和遠端服務模式。(也就是內嵌模式
、本地模式、遠端模式)。
1.1 hive體系結構:
hive體系結構圖:主要分為:使用者介面、thrift伺服器、元資料儲存、解析器、hadoop
1.2 hive資料型別
hive的儲存是建立在hadoop檔案系統之上的,它本身沒有專門的資料儲存格式,其主要包括四類資料模型:
表(table)
分割槽(partition)
桶(bucket)
外部表(external table)
hive的內建資料型別可以分為兩大類:(1)、基礎資料型別;(2)、複雜資料型別。其中,基礎資料型別包括:tinyint,smallint,int,bigint,boolean,float,double,string,binary,timestamp,decimal,char,varchar,date。
1.3hive的執行流程要點
常見的hive操作符(部分)如下:
1.4 hive的hql操作
hive基本的執行操作其實和sql差不多,例如:
select u.name, o.orderid from order o join user u on o.uid = u.uid;
select dealid, count(distinct uid), count(distinct date) from order group by dealid;
簡單hive表語句:
create table student
(name string,
*** string,
age int);
mysql的基本原理 Mysql 基本原理
mysql 基本原理 mysql是一種關聯式資料庫管理系統,關聯式資料庫將資料儲存在不同的表中,而不是將所有資料放在乙個大倉庫內,這樣就增加了速度並提高了靈活性 ysql是資料庫登入命令 uroot預設超級使用者登入 p 預設沒密碼 中寫密碼 mysqladmin uroot password 12...
8 2 1 基本原理
乙個舞台動畫物件在包含許多舞台資訊 出現在何處,佔多大面積,處在什麼角度,是否可見 這些資訊分別儲存在動畫物件的屬性中。在 中讀取這些屬性可以了解物件的位置 大小 角度等狀態資訊 修改這些屬性可以改變物件的位置 大小 角度等狀態。如果從資料的角度去理解,動畫就是在固定時間間隔點不斷修改動畫物件某項屬...
Csocket基本原理
我通過幾個採用 csocket 類編寫並基於 client server 客戶端 服務端 的網路聊天和傳輸檔案的程式 在除錯這些程式的過程中,追蹤深入至 csocket 類核心原始碼 sockcore.cpp 對於csocket 類的執行機制可謂是一覽無遺,並且對於阻塞和非阻塞方式下的 socket...