黑猴子的家 什麼是Hive?

2021-08-30 08:49:37 字數 686 閱讀 9699

hive由facebook開源用於解決海量結構化日誌的資料統計。

hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張表,並提供類sql查詢功能。

本質是:將hql轉化成mapreduce程式

1)hive處理的資料儲存在hdfs

2)hive分析資料底層的實現是mapreduce

3)執行程式執行在yarn上

在簡單點說,hive 依賴於 hdfs 儲存資料,hive 將 hql 轉換成 mapreduce 執行,所以說 hive 是基於 hadoop 的乙個資料倉儲工具,實質就是一款基於 hdfs 的 mapreduce 計算框架,對儲存在 hdfs 中的資料進行分析和管理

資料倉儲之父比爾·恩門(bill inmon)在 1991 年出版的「building the data warehouse」(《建 立資料倉儲》)一書中所提出的定義被廣泛接受——資料倉儲(data warehouse)是乙個面 向主題的(subject oriented)、整合的(integrated)、相對穩定的(non-volatile)、反映歷史 變化(time variant)的資料集合,用於支援管理決策(decision ****** support)。

黑猴子的家 Hive 資料匯出

1 insert匯出 1 將查詢的結果匯出到本地 hive default insert overwrite local directory opt module datas export student select from student 2 將查詢的結果格式化匯出到本地 hive defau...

黑猴子的家 Hive 其它命令操作

1 退出hive視窗 hive default exit hive default quit 2 在hive cli命令視窗中如何檢視hdfs檔案系統 hive default dfs lsr 3 在hive cli命令視窗中如何檢視hdfs本地系統 hive default ls opt modu...

黑猴子的家 Hive 之 Hadoop壓縮配置

1 mr支援的壓縮編碼 壓縮格式 工具演算法 副檔名 是否可切分 default 無default deflate 否gzip gzip default gz否 bzip2 bzip2 bzip2 bz2 是lzo lzop lzo.lzo 否lz4 無lz4 lz4否無 否2 編碼 解碼器 為了支...