hive是乙個資料倉儲工具,建立在hadoop之上,它的存在是為了讓大資料的查詢和分析更加的方便。hive提供簡單的sql查詢功能,並最終轉換為mapreduce任務執行。
本文採用centos7系統,jdk1.8,和hadoop2.9
以上,我們構建了jdk,hadoop以及配置了hadoop中的hdfs。hive將基於jdk和hadoop環境,將資料儲存在hdfs中。
同時,為了簡單,我們只進行單節點安裝配置,並只配置了hdfs,沒有mapreduce和yarn的配置。
以及,元資料儲存我們也不使用獨立的mysql或者derby,直接採用預設的內建資料庫derby,使用內建資料庫只會允許有乙個connection,所以如果是生產環境通常是會使用獨立的資料庫mysql。
這樣,我們就構建了hive的基本環境,接下來我們進行hive的安裝配置
我們先建立乙個hive目錄,然後進入該目錄
然後解壓
tar apache-hive-1.2.2-bin.tar.gz你可以看到解壓後的檔案
接下來我們需要給hive配置環境變數
當然,請確保你之前安裝的hadoop和jdk是可用的配置
使用命令,使得配置生效
source /etc/profile我們進入hive目錄
cd /usr/local/hadoop/hive/apache-hive-1.2.2-bin進入hive shell看看(請記得要先啟動hdfs:start-dfs.sh)
這樣就說明我們已經配置成功hive了,退出hive
我們看到該目錄下建立了metastore
這就意味著在apache-hive-1.2.2-bin目錄下存放著你的元資料,而下次你也得在這個目錄去啟動hive,如果在其他位置啟動hive,你會找不到這些表而覺得奇怪。
以上,我們就簡單安裝配置了hive,並成功啟動hive shell同時自動建立了元資料資料庫(metastore_db);
hive建立資料庫
hive建立資料庫create database if not exists sip data drc comment 測試資料庫 location tmp hive root with dbproperties creater liuzd date 20191010 if not exists 如...
HIVE倉庫擴充套件 連線hive資料庫
一 命令列客戶端工具 hivecli cli是和hive互動的最簡單 最常用方式,你只需要在乙個具備完整hive環境下的shell終端中鍵入hive即可啟動服務。beeline beeline是hive新的命令列客戶端工具。hive客戶端工具後續將使用beeline 替代hivecli 並且後續版本...
mysql內建資料庫結構
mysql儲存有賬戶資訊,許可權資訊,儲存過程,event,時區等資訊sys包含了一系列的儲存過程 自定義函式以及檢視來幫助我們快速的了解系統的元資料資訊。元資料是關於資料的資料,如資料庫名或者表名,列的資料型別,或訪問許可權等 performance schema用於收集資料庫伺服器效能引數inf...