hive有三種安裝模式,分別是:嵌入模式、本地模式和遠端模式。
1.1 嵌入模式
(1)元資料資訊被儲存在自帶的deybe資料中
(2)只允許建立乙個連線
(3)多用於demo
1.2 本地模式
(1)元資料資訊被儲存在mysql資料庫
(2)mysql資料庫與hive執行在同一臺物理機器上
(3)多用於開發和測試
1.3 遠端模式
(1)元資料資訊被儲存在mysql資料庫
(2)mysql資料庫於hive執行在不同的物理機器上
(3)用於實際生產環境
hive優點與使用場景:
(1)操作介面採用類sql語法,提供快速開發的能力(簡單、容易上手);
(2)避免了去寫mapreduce,減少開發人員的學習成本;
(3)統一的元資料管理,可與impala/spark等共享元資料;
(4)易擴充套件(hdfs+mapreduce:可以擴充套件集群規模;支援自定義函式);
(5)資料的離線處理;比如:日誌分析,海量結構化資料離線分析...
(6)hive的執行延遲比較高,因此hive常用於資料分析的、對實時性要求不高的場合;
(7)hive優勢在於處理大資料,對於處理小資料沒有優勢,因為hive的執行延遲比較高。
Hive的架構原理 Hive的安裝步驟
元資料預設資料庫是 derby 開發使用mysql hive如何將sql語句翻譯成mapreduce的?1.使用sql解析器解析sql語句 2.使用編譯器進行編譯邏輯 3.使用優化器進行優化 4.使用執行器在hadoop上執行mapreduce hive是基於hadoop之上的框架。1.安裝hive...
hive的安裝及初體驗
上傳hive apache hive 1.0.1 bin.tar.gz 解壓tar zxvf apache hive 1.0.1 bin.tar.gz 改名mv apache hive 1.0.1 bin hive cd hive 執行bin hive進入hive 命令列模式,需hadoop集群已配...
深度剖析Kafka儲存架構的原理及分割槽優勢
目錄 一 kafka是什麼 二 kafka的詳細架構圖 0.kafka的儲存結構和原理 1.producera 2.producerb 3.kafka分割槽的優勢 三 kafka依賴於zookeeper,體現在三個方面 kafka是乙個分布式的訊息佇列,類似於flume中的channel,用於資料的...