最近團隊要從公司某個部門拉取業務資料，由於某部門的資料庫是sqlserver，沒有生成hive表的指令碼，於是自己寫了個粗糙版，裡邊有自動生成跑任務指令碼的部分，就懶得貼了，自己定義個啟動指令碼模板定義就去行了
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import pymssql
import sys
import os
import shutil
reload(sys)
sys.setdefaultencoding( "utf-8" )
centerconn=pymssql.connect(host='',
user=',
password='',
database='')
dwcursor = centerconn.cursor()
typeconvertdict={"bigint":"bigint", "int":"int", "varchar":"string", "decimal":"double", "tinyint" : "int",
"datetime":"string", "date":"string", "time":"string", "year":"string",'timestamp':"bigint","char":"string","samllint":"int",
系統從oracle版本轉化為sqlserver版本
為了 oracle 版本和sqlserver 版本能很方便的轉化，也為了兩個版本能同步修改，特別是業務邏輯層。現決定如下 a,兩個版本的業務邏輯層都放在 source 目錄下。在該目錄下有兩個目錄 sql 和ora 這兩個目錄有三個檔案 mon.pbl,water modi.pbl,dw versi...
python批量匯入檔案 python 批量匯入
usr bin envpythoncoding utf 8importmysqldbdefdb execute sql dbs mysqldb.connect host localhost user root passwd root db db port 3306 cursor dbs.cursor...
Python從資料庫讀取大量資料批量寫入檔案的方法
使用機器學習訓練資料時，如果資料量較大可能我們不能夠一次性將資料載入進記憶體，這時我們需要將資料進行預處理，分批次載入進記憶體。下面是 作用是將資料從資料庫讀取出來分批次寫入txt文字檔案，方便我們做資料的預處理和訓練機器學習模型。import pymssql as mysqldb 這裡是pytho...