hive與hadoop呼叫圖
解析:1、提交sql 交給驅動
2、驅動編譯:解析相關的字段表資訊
3、去metastore查詢相關的資訊 返回字段表資訊
4、編譯返回資訊 發給驅動
5、驅動傳送乙個執行計畫 交給執行引擎
6、執行計畫 (三種形式: metastore、namenode、metastore+namenode+mapreduce)
形式一 > ddl 對資料庫表的操作的 直接和metastore互動 。 比如:create table t1(name string);
形式二 > dfs ops 直接和namenode取資料 。 比如: select * from t1;
形式三 > 把job交給job tracker,讓task tracker執行 返回執行資訊 + 完成job返回資料資訊、找namenode查資料 。
比如:select * from t1 where col=x ;
7、返回結果資訊集
總結: hive 執行在 hadoop 之上, 某些操作需要呼叫 hdfs 中的 mapreduce 。 hive 元資料儲存在 matestore 中, 而非元資料(如 table 裡的資料)儲存在hdfs之上。
Hive知識之Hive基礎
5 hive的基本操作 5.2 資料表相關操作 6 資料的匯入和匯出 1 hive簡介 2 hive與傳統關係型資料庫的比較 專案hive rdbms 查詢語言 hqlsql 資料儲存 hdfs raw device or local fs 執行mapreduce excuter 執行延遲高低 處理...
Hive 五 hive與hbase整合
配置 hive 與 hbase 整合的目的是利用 hql 語法實現對 hbase 資料庫的增刪改查操作,基本原理就是利用兩者本身對外的api介面互相進行通訊,兩者通訊主要是依靠hive hbase handler.jar工具類。但請注意 使用hive操作hbase中的表,只是提供了便捷性,前面章節已...
Hive篇 Hive與Hbase整合
一 前述 hive會經常和hbase結合使用,把hbase作為hive的儲存路徑,所以hive整合hbase尤其重要。二 具體步驟 hive和hbase同步 1 把hive hbase handler 1.2.1.jar cp到hbase lib 下 同時把hbase中的所有的jar,cp到hive...