hive由facebook開源用於解決海量結構化日誌的資料統計。
hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張表,並提供類sql查詢功能。
本質是:將hql轉化成mapreduce程式
1)hive處理的資料儲存在hdfs
2)hive分析資料底層的實現是mapreduce
3)執行程式執行在yarn上
在簡單點說,hive 依賴於 hdfs 儲存資料,hive 將 hql 轉換成 mapreduce 執行,所以說 hive 是基於 hadoop 的乙個資料倉儲工具,實質就是一款基於 hdfs 的 mapreduce 計算框架,對儲存在 hdfs 中的資料進行分析和管理
資料倉儲之父比爾·恩門(bill inmon)在 1991 年出版的「building the data warehouse」(《建 立資料倉儲》)一書中所提出的定義被廣泛接受——資料倉儲(data warehouse)是乙個面 向主題的(subject oriented)、整合的(integrated)、相對穩定的(non-volatile)、反映歷史 變化(time variant)的資料集合,用於支援管理決策(decision ****** support)。
黑猴子的家 Hive 資料匯出
1 insert匯出 1 將查詢的結果匯出到本地 hive default insert overwrite local directory opt module datas export student select from student 2 將查詢的結果格式化匯出到本地 hive defau...
黑猴子的家 Hive 其它命令操作
1 退出hive視窗 hive default exit hive default quit 2 在hive cli命令視窗中如何檢視hdfs檔案系統 hive default dfs lsr 3 在hive cli命令視窗中如何檢視hdfs本地系統 hive default ls opt modu...
黑猴子的家 Hive 之 Hadoop壓縮配置
1 mr支援的壓縮編碼 壓縮格式 工具演算法 副檔名 是否可切分 default 無default deflate 否gzip gzip default gz否 bzip2 bzip2 bzip2 bz2 是lzo lzop lzo.lzo 否lz4 無lz4 lz4否無 否2 編碼 解碼器 為了支...