es導hive以及hive一些基本操作

hive基本操作

hive;

show databases;
use xesoa;
show tables;
show create table api_relation_student_live;
desc api_relation_student_live;
drop table if exists api_relation_student_live;
進入hive client前設定佇列許可權
hive --hiveconf mapreduce.job.queuename=root.jiaoguan.xesoa
進入hive_client後設定佇列許可權
set mapreduce.job.queuename=root.budata.ads;

完整複製表結構和資料。

create table student_bak as select * from student;
僅複製表結構。
create table student2 like student;
查詢一定pattern的表結構
show tables like "*finish_plan*";
檢視hdfs檔案的前幾行
列出directory下的檔案及資料夾
yarn操作
pyspark --queue budata.hadoop
dimdb,dm_bi,dm_dp,dm_mob,dwddb,dwsdb,ods,odsdb,

Hive 一些操作記錄

1.建立 建立資料庫 create database database name 建立表 列按 分割 create table table name id int,name string row format delimited fields terminated by 建立分割槽表 列按 分割 按...

hive一些特殊設定

搜尋結果顯示列名 set hive.cli.print.header true set hive.resultset.use.unique.column.names false 啟用動態分割槽 set hive.exec.dynamic.partition true set hive.exec.dy...

Hive的一些優化方法

在實際開發過程中我們要盡可能的對hive進行優化，來提高生產效率，在處理hive優化的時候我們必須把hive sql當做mapreducer來讀，從mr的執行角度來考慮優化效能，從更底層來思考如何優化運算效能。分為以下幾個方面 1.解決資料傾斜問題。2.減少job數 3.合理設定map和reduce...