shell指令碼按照時間將資料插入到hive

2021-10-01 23:45:47 字數 488 閱讀 2086

寫個shell指令碼hive 按時間定期插入分割槽表,由於今天統計的是昨天的資料所以日期減一。

#!/bin/bash

ds=`date -d '-1 day' "+%y-%m-%d"`

#如果某天的資料有誤需要重跑 千萬注意shell指令碼中的空格問題

if [ $1 ];then

ds=$1

fisql="insert overwrite table table_name partition(dt='"$"') select ***,***x from (select ***,***,xx from table where dt='"$"') a join (selcect xx,xx,*** from table where dt='"$"') b on (a.xx=b.xx)"

echo "$"

hive -e "use database_name;$;exit;"

Shell指令碼中時間處理

1.指令碼內容 bin bash 環境變數 設定環境變數和sql檔案格式相符 source etc profile export ld library path usr lib oracle 12.1 client64 lib export nls lang american america.zhs...

將shell指令碼做成rpm包

1 打包最好在虛擬機器上用普通使用者進行打包,避免對環境造成破壞。安裝rpmbuild yum y install rpm build rpmdevtools2 執行rpmdev setuptree 命令,會在家目錄下生成rpmbuild工作目錄,記得用普通使用者執行 su makerpm rpmd...

android對資料按照時間排序

經常遇見乙個列表,兩個介面的情況,兩個介面屬於兩個不同的表資料,那麼資料拼接回來之後,並不是按照時間排序的,看起來就相當混亂,所以記錄一下如何對資料按照時間排序。步驟一 格式化日期 public static date stringtodate string datestring 步驟二 對拼接的列...