python 遍歷資料夾下檔案

2021-08-20 04:32:01 字數 1486 閱讀 8207

需求描述:

1、讀取指定目錄下的所有資料集檔案

2、讀取指定檔案,輸出檔案資料

3、儲存到指定目錄

實現過程**如下:

# -*- coding: utf-8 -*-

"""created on thu may 10 17:02:40 2018

@author: admin

"""import os

import pandas as pd

import gc

# 遍歷指定目錄,顯示目錄下的所有檔名

def eachfile(filepath):

pathdir =  os.listdir(filepath)

allfilepath=list()

for alldir in pathdir:

child = os.path.join('%s%s' % (filepath, alldir))

return allfilepath

#遍歷目錄下的所有檔案    

def readfile(filepath):

samp=pd.dataframe()

for i in filepath:

#讀取的檔案的檔案型別

# df=pd.read_csv(open('%s'%i,encoding='utf8'))

df=pd.read_excel(r'%s'%i)

df=df.loc[:,['資產訂單編號','期數']]

samp=pd.concat([samp,df])

del df

gc.collect()

return samp

#執行函式

'''每個python模組(python檔案,也就是此處的test.py和import_test.py)都包含內建的變數__name__,當執行模組被執行的時候,

__name__等於檔名(包含了字尾.py);如果import到其他模組中,

則__name__等於模組名稱(不包含字尾.py)。而「__main__」等於當前執行檔案的名稱(包含了字尾.py)。

進而當模組被直接執行時,__name__ == 'main'結果為真。

如果我們在作為模組的那個檔案中寫比如:」if name == 『ganzhiqi』:」,

其中ganzhiqi是乙個作為模組的檔案的檔名,那麼其後的**也會執行。

'''    

if __name__ == '__main__':

filepath = 'd:/資料分析/'

filepath=eachfile(filepath)

allfile=readfile(filepath)

allfile.to_csv(r'd:/資料分析/allfile.csv')

執行上面簡潔的**,就完成讀取資料、整合資料到存放資料的整一套流程,再零散的資料也沒有任何問題。

python遍歷資料夾下檔案

在讀檔案的時候往往需要遍歷資料夾,python的os.path包含了很多檔案 資料夾操作的方法。下面列出 os.path.abspath path 返回絕對路徑 os.path.basename path 返回檔名 os.path.commonprefix list 返回多個路徑中,所有path共有...

PHP遍歷資料夾下檔案

dir e video 這裡輸入其它路徑 php遍歷資料夾下所有檔案 handle opendir dir.echo 檔案 while false file readdir handle closedir handle 用了這段 遍歷所有檔案,幫我把所有檔名存為乙個陣列。s explode n tr...

C 遍歷資料夾下檔案

那麼到底如何查詢檔案呢?我們需要乙個結構體和幾個大家可能不太熟悉的函式。這些函式和結構體在的標頭檔案中,結構體為struct finddata t 函式為 findfirst findnext和 fineclose。具體如何使用,我會慢慢講來 首先講這個結構體吧 struct finddata t ...