需求描述:
1、讀取指定目錄下的所有資料集檔案
2、讀取指定檔案,輸出檔案資料
3、儲存到指定目錄
實現過程**如下:
# -*- coding: utf-8 -*-
"""created on thu may 10 17:02:40 2018
@author: admin
"""import os
import pandas as pd
import gc
# 遍歷指定目錄,顯示目錄下的所有檔名
def eachfile(filepath):
pathdir = os.listdir(filepath)
allfilepath=list()
for alldir in pathdir:
child = os.path.join('%s%s' % (filepath, alldir))
return allfilepath
#遍歷目錄下的所有檔案
def readfile(filepath):
samp=pd.dataframe()
for i in filepath:
#讀取的檔案的檔案型別
# df=pd.read_csv(open('%s'%i,encoding='utf8'))
df=pd.read_excel(r'%s'%i)
df=df.loc[:,['資產訂單編號','期數']]
samp=pd.concat([samp,df])
del df
gc.collect()
return samp
#執行函式
'''每個python模組(python檔案,也就是此處的test.py和import_test.py)都包含內建的變數__name__,當執行模組被執行的時候,
__name__等於檔名(包含了字尾.py);如果import到其他模組中,
則__name__等於模組名稱(不包含字尾.py)。而「__main__」等於當前執行檔案的名稱(包含了字尾.py)。
進而當模組被直接執行時,__name__ == 'main'結果為真。
如果我們在作為模組的那個檔案中寫比如:」if name == 『ganzhiqi』:」,
其中ganzhiqi是乙個作為模組的檔案的檔名,那麼其後的**也會執行。
'''
if __name__ == '__main__':
filepath = 'd:/資料分析/'
filepath=eachfile(filepath)
allfile=readfile(filepath)
allfile.to_csv(r'd:/資料分析/allfile.csv')
執行上面簡潔的**,就完成讀取資料、整合資料到存放資料的整一套流程,再零散的資料也沒有任何問題。 python遍歷資料夾下檔案
在讀檔案的時候往往需要遍歷資料夾,python的os.path包含了很多檔案 資料夾操作的方法。下面列出 os.path.abspath path 返回絕對路徑 os.path.basename path 返回檔名 os.path.commonprefix list 返回多個路徑中,所有path共有...
PHP遍歷資料夾下檔案
dir e video 這裡輸入其它路徑 php遍歷資料夾下所有檔案 handle opendir dir.echo 檔案 while false file readdir handle closedir handle 用了這段 遍歷所有檔案,幫我把所有檔名存為乙個陣列。s explode n tr...
C 遍歷資料夾下檔案
那麼到底如何查詢檔案呢?我們需要乙個結構體和幾個大家可能不太熟悉的函式。這些函式和結構體在的標頭檔案中,結構體為struct finddata t 函式為 findfirst findnext和 fineclose。具體如何使用,我會慢慢講來 首先講這個結構體吧 struct finddata t ...