資料倉儲以及Hive的使用總結

2021-07-10 14:39:05 字數 554 閱讀 5020

1、資料倉儲

下面是olap的大致過程:

2、·hive資料倉儲

1)功能

2)特點

3)資料結構

4)體系結構

5)執行原理

直譯器、編譯器、優化器完成hql查詢語句從詞法分析、語法分析、編譯優化以及查詢計畫生成------查詢計畫進入hdfs-----mapreduce執行

6)區別於資料庫

查詢語言為hql類似sql

資料儲存位置:在hdfs中,資料庫是在塊裝置或本地檔案系統

資料格式:無專門的資料格式預設textfile/sequencefile/rcfile

資料跟新:不支援改寫和新增

索引:無索引,mapreduce全盤掃瞄

執行:mapreduce執行

執行的延遲高

可擴充套件性強,資料規模大

7)常見的應用場景:

8)具體使用sql是基礎,慢慢練習

Hive 資料倉儲

hive命令列模式 1 進入bin 執行.hiv 2 配置hive環境變數,直接執行命令 hive service cli 或 hive hive的web模式 執行hive service hwi 啟動後訪問http master 9999 hwi hive的遠端服務 預設埠 10000,執行啟動命...

資料倉儲Hive

資料倉儲是乙個面向主題的 整合的 相對穩定的 反映歷史變化的資料集合,用於支援管理決策。根本目的是為了支援企業內部的商業分析和決策,基於資料倉儲的分析結果,做出相關的經營決策.資料倉儲中的資料比較穩定,保留了大量歷史資料 而資料庫只儲存某一時刻的資料.對於傳統資料倉儲來說,既是資料儲存產品也是分析產...

資料倉儲Hive

乙個公司裡面不同專案可能用到不同的資料來源,有的存在mysql裡面,又的存在mongodb裡面,甚至還有些要做第三方資料。但是現在又想把資料整合起來,進行資料分析。此時資料倉儲 data warehouse,dw 就派上用場了。它可以對多種業務資料進行篩選和整合,可以用於資料分析 資料探勘 資料包表...