0920 hive搭建 基礎

2021-09-27 08:01:46 字數 1460 閱讀 6889

hive 3種搭建模式 採用分離的方式

array  map  struct

from tb_temp insert into tb_user1 select 1,'name',array('a','b','c'),map('key1','value1','key2','value2') limit 1;  要求tb_temp中至少有一條語句。

drop database mydb cascade

desc formatted tb_user

stored as orc 建立表時改格式 不是txt了

預設情況下 建立了都是內部表 內部表刪除時 hdfs上的資料也被刪除      建立外部表 要加關鍵字external 刪除外部表 hdfs上檔案依然存在  外部表 用在 資料先存在於hdfs上時。  建立表路徑可以通過location指定

create table tb_user1_1 like tb_user1; 只和tb_user1的結構一樣 沒有資料

create table tb_user1_2 as select name,addrs from tb_user1;   有select後的結構同時也有 tb_user1的資料  但是沒有分隔符

建立分割槽partitioned by (age int, *** string) 多重分割槽的檔案結構 age->***->data.txt 一層套一層的形式 

alter table tb_user5 add partition(age=14,***='female'); 新增分割槽 就是在hdfs上新增空的檔案結構沒有資料

load data local inpath '/root/user24.txt' into table tb_user4 partition(age=70);可以新增資料 也可以通過hdfs上傳檔案 新增資料

如果 如果分割槽是通過hdfs操作手動新增的,則資料庫表不會認識該分割槽 msck repair table tb_user4;

alter table tb_user4 drop partition(age=70);刪除分割槽

from tb_user4

insert into table tb_user6

select id,name, likes, addrs where age=17

insert into table tb_user61

select id,name, likes, addrs where age=24   從乙個表中查詢資料 批量插入另乙個表中 如果沒有這個值 後面的會插入null進

insert into(overwrite) table tb_user61

select id, name, likes, addrs from tb_user63 where id in (4,6);  從查詢資料插入到表中  into追加 overwrite覆蓋

hive 中的beeline 相當於是乙個mysql的客戶端

hive 的jdbc 類似於mysql的jdbc

搭建hive環境

搭建好hadoop環境後開始搭建hive環境。搭建hive過程中也遇到了很多坑,所以記錄下來。上傳hive到伺服器之後,要配置環境變數,需要涉及到三個地方。由於照著搭建的教程中只讓改了兩個,導致沒有啟動成功。需要配置的檔案分別是 hive conf hive env.sh hive conf hiv...

搭建hive的流程

搭建hive的流程 1.先裝mysql 修改mysql登入許可權 2.解壓hive,需要將mysql的驅動包拷貝到hive的利用目錄彙總,修改hive的配置檔案,hive site.xml的檔案中 連線資料庫的四個屬性 首先安裝mysql yum install mysql server y 服務端...

Hive知識之Hive基礎

5 hive的基本操作 5.2 資料表相關操作 6 資料的匯入和匯出 1 hive簡介 2 hive與傳統關係型資料庫的比較 專案hive rdbms 查詢語言 hqlsql 資料儲存 hdfs raw device or local fs 執行mapreduce excuter 執行延遲高低 處理...