Hive 資料倉儲工具,由Facebook貢獻。

2022-09-16 18:27:14 字數 638 閱讀 4188

hadoop common: 在0.20及以前的版本中,包含hdfs、mapreduce和其他專案公共內容,從0.21開始hdfs和mapreduce被分離為獨立的子專案,其餘內容為hadoop common

hdfs: hadoop分布式檔案系統(distributed file system) - hdfs (hadoop distributed file system)

mapreduce:平行計算框架,0.20前使用 org.apache.hadoop.mapred 舊介面,0.20版本開始引入org.apache.hadoop.mapreduce的新api

hbase: 類似google bigtable的分布式nosql列資料庫。(hbase和**ro已經於2023年5月成為頂級 apache 專案)

hive:資料倉儲工具,由facebook貢獻。

zookeeper:分布式鎖設施,提供類似google chubby的功能,由facebook貢獻。

**ro:新的資料序列化格式與傳輸工具,將逐步取代hadoop原有的ipc機制。

pig: 大資料分析平台,為使用者提供多種介面。

ambari:hadoop管理工具,可以快捷的監控、部署、管理集群。

sqoop:於在hadoop與傳統的資料庫間進行資料的傳遞。

hive(資料倉儲工具)

hive是基於hadoop的乙個 資料倉儲工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的sql查詢功能,可以將sql語句轉換為mapreduce任務進行執行。其優點是學習成本低,可以通過類sql語句快速實現簡單的mapreduce統計,不必開發專門的mapreduce應用,十分適合 資...

Hive 資料倉儲工具,特性介紹

一 hive的儲存 hive是基於hadoop分布式檔案系統的,它的資料儲存在hdfs中。hive本身是沒有專門的資料儲存格式,也沒有為資料建立索引,只需要在建立表的時候告訴hive資料中的列分隔符和行分隔符,hive就可以解析資料。所以往hive表裡面匯入資料只是簡單的將資料移動到表所在的目錄中。...

Hive 資料倉儲

hive命令列模式 1 進入bin 執行.hiv 2 配置hive環境變數,直接執行命令 hive service cli 或 hive hive的web模式 執行hive service hwi 啟動後訪問http master 9999 hwi hive的遠端服務 預設埠 10000,執行啟動命...