環境準備
安裝python環境:解壓 ,然後設定環境變數。把etl資料夾放到本地
sheet名為「載入策略」是對各個演算法模板的說明,其中etl策略,是對演算法模板的命名,例如:
sheet名為「表級」是需要對所建的表進行相應的表級維護,包括:系統**,資料庫型別,目標層次, 依賴層次,依賴表名,載入策略,目標表名,目標表中文名,分割槽型別,表型別(tdh/elk),分桶/分布鍵,分桶/個數,分割槽鍵,根據所建的表型別進行相應的維護,例如:
注意:上圖中的載入策略,填寫的是單錶儲存過程的載入策略名,表型別那一列填寫的是建表的型別名。依賴表名那一列是儲存過程中的**表。
sheet名為「字段級」是需要對所建的表進行字段級的維護。包括: 目標層次,目標表英文名稱,目標表中文名稱,字段序號,源系統字段英文名稱,字段中文名稱,源系統字段型別,字段英文名稱,字段型別,是否可為空,是否pk,清洗轉換規則,目標字段對映規則,是否轉碼等列名。例如:
注:其中是否轉碼列,如果需要轉碼則需要填y。
注:任務名這一列就是儲存過程名.
批量建表步驟。
(1) 按照例子維護好excel模板
(2) windows+r開啟cmd命令視窗,進入python指令碼所在的資料夾。
(3).執行命令:python cre_init_tab.pyc
(4).然後執行命令: python pub_gen_ddl.pyc。到此為止建表語句完成.生成的sql語句在d:\etl\code\tdh\table目錄下
批量建單表儲存過程步驟。
(1) 在建表後的基礎上執行:python pub_gen_omsp.pyc
6、批量建多表儲存過程步驟
執行命令(初始化知識庫):python cre_init_tab.pyc
在執行上面命令後的基礎上執行: python pub_gen_imsp.pyc
批量建立資料庫和批量資料恢復
近期公司有乙個資料庫需要遷移,但是裡面建立的資料庫比較多,我們採取指令碼將庫單獨備份,然後上傳到另一台主機,新建資料庫,然後恢復資料庫。將自己寫的幾個小指令碼貼上到此,分庫壓縮備份1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 bin sh version 0.1 myuse...
SQL Server生成資料庫的資料字典儲存過程
use fperp 指定要生成資料字典的資料庫 goselect 表名 case when a.colorder 1 then d.name else end,表說明 case when a.colorder 1 then isnull f.value,else end,字段序號 a.colorde...
批量刪除Orcale資料庫使用者表
set serveroutput on declare step 1 declare the variables v product name varchar 100 v product count integer 0 step 2 declare the cursor cursor cv prod...