此應用類主要實現功能:
import xlrd
import os
import pandas as pd
class
working_for_files
(object):
root_path = 'd:/data/'
key_word_path = 'd:/product_name/產品關鍵字表.xlsx'
get_data_path = 'd:/product_name/資料提取表.xlsx'
defload_files
(self):
data = self.load_search_data() # 欄位a,欄位b(目標處理資料)
for i in data:
productname = i[0]
tradedate = i[1]
file_lists = os.listdir(self.root_path) # 返回根目錄下所有子目錄集合
if tradedate in file_lists:
# 產品關鍵字表資訊匹配
workbook1 = xlrd.open_workbook(self.key_word_path)
sheet1_ = workbook1.sheet_by_name('sheet1')
col_1 = sheet1_.col_values(0)
list_names = sheet1_.col_values(0)[1:]
for product_name in list_names:
if product_name == productname:
name = sheet1_.row_values(col_1.index(product_name))
productname_ = name[1]
file_path = self.root_path + tradedate + '/'
files = os.listdir(file_path) # 返回子目錄下所有檔名集合
for file in files:
if productname_ in file:
total_file_path_ = file_path + file
yield total_file_path_
defload_search_data
(self):
i = 0
data = pd.read_excel(self.get_data_path, header=0).ix[:,:2]
productname = list(data['欄位a'])
for time_ in list(data['欄位b']):
yield productname[i], str(time_)[:10]
i += 1
deffind_total_data
(self, file_path):
# 業務處理函式
pass
defmain
(self):
files = self.load_files()
i = 0
for file in files:
print(file)
self.find_total_data(file)
i += 1
print('一共%d個檔案' % i)
if __name__ == '__main__':
# 主入口
working_for_files = working_for_files()
working_for_files.main()
資料表字段樣式
1、資料提取表
2、關鍵字表
mysql儲存過程之游標遍歷資料表
出處 1 begin 2 declare done int default 0 3 4 declare currentlingqi int 5 6 declare shizuname varchar 30 7 宣告游標 8 declare rs cursor for select nodename,...
mysql儲存過程之游標遍歷資料表
原文 mysql儲存過程之游標遍歷資料表 今天寫乙個mysql儲存過程,根據自己的需求要遍歷乙個資料表,因為對儲存過程用的不多,語法不甚熟悉,加之儲存過程沒有除錯環境,花了不少時間才慢慢弄好,故留個痕跡。1 begin 2 declare done int default 0 3 4 declare...
Postgres 資料表檔案儲存位置
背景 前端時間,測試的時候發現資料庫所在的伺服器磁碟佔用量瘋狂的增加。就去檢視了是什麼原因。足夠定位到是資料庫表的問題。問題來了,以前只知道資料庫的表是以檔案的形式存在的。其他都不知道,所以花了很多時間來初步了解。initdb 的時候會指定乙個 pgdata 目錄,這就是 postgresql 儲存...