Python資料批量採集

2021-09-25 03:07:32 字數 1386 閱讀 5941

連續拍了好幾天的資料影象，對批量進行資料篩選，從原位址讀取，每隔15min採集一張，存到新位址。名字為：z_wlpd_i_12345_20190506175500_o_10-01.jpg

# -*- coding: utf-8 -*-


'''# @time:2019/7/8 9:00


# @author:lxq


# @function:對資料夾中的檔案批量取樣


'''import os, random, shutil


def taketime(sample):


return sample.split('_')[4]


def copyfile(filedir):


pathdir_0 = os.listdir(filedir)


#遍歷檔案


for dir_0 in range(0,len(pathdir_0)):


pathdir_1 = os.listdir(pathdir_0[dir_0])


for dir_1 in range(0,len(pathdir_1)):


path = os.path.join(filedir, pathdir_0[dir_0], pathdir_1[dir_1]) #合併資料夾、檔案路徑


#當前資料夾


dstpath = os.listdir(path)


#對檔案排序


dstpath.sort(key=taketime)


#對當前資料夾中的檔案取樣


for sample in dstpath:


name = int(taketime(sample))


if int(name) % 2000 == 0:   #20min一次


new_path = tardir + pathdir_0[dir_0] + '/' + pathdir_1[dir_1]


i***ists=os.path.exists(new_path)


if not i***ists:


os.makedirs(new_path)                        


shutil.copyfile(filedir + pathdir_0[dir_0] + '/'+ pathdir_1[dir_1] + '/' + sample,


tardir + pathdir_0[dir_0] + '/'+ pathdir_1[dir_1] + '/' + sample)


if __name__ == '__main__':


filedir = "i:/image/12345/"


tardir = 'i:/image/new12345/15min/'


copyfile(filedir)


print 'code over!!!'

python 資料採集入門

1.配置環境 安裝python，urllib，beautifulsoup4.pip是python的安裝程式。驗證安裝是否成功 beautifulsoup4 安裝beautifulsoup4 linux sudo apt get install python bs4 mac sudo easy ins...

Python網路資料採集

from urllib.request import urlopen from bs4 import beautifulsoup import re pages set defgetlinks pageurl global pages html urlopen pageurl bsobj beaut...

Python網路資料採集

本書適合熟悉python的程式設計師 安全專業人士 網路管理員閱讀。書中不僅介紹了網路資料採集的基本原理，還深入 了更高階的主題，比如分析原始資料 用網路爬蟲測試 等。此外，書中還提供了詳細的 示例，以幫助你更好地理解書中的內容。這本書中的工具和示例幫我輕鬆地將一些重複性工作自動化了，我可以將省下來...