Python while true實現爬蟲定時任務

2022-09-26 21:15:19 字數 1294 閱讀 4419

記得以前的windows 任務定時是可以的正常使用的,今天試了下,發現不能正常使用了,任務計畫總是掛起。

接下來記錄下python 爬蟲定時任務的幾種解決方法。

今天是第一篇,後面會陸續更新。

首先最容易的是while true死迴圈掛起,上**

import osimport timeimport sysfrom datetime import datetime, timedelta

def one_plan():

# 設定啟動週期

second_update_time = 24 * 60 * 60

# 當前時間

now_time = datetime.now()

# 設定 任務啟動時間

plan_time = now_time.replace(hour=9, minute=0, second=0, microsecond=0)

# 設定差值,-1 day, 21:48:53.246576,類似於這樣

# time.sleep()需要傳入int,所以下面使用.total_seconds()

# 主要用來計算差值,返回int,具體功能可以自行查閱相關資料

delta = plan_time - now_time

first_plan_time = delta.total_seconds() % second_update_time

print("距離第一次執行需要睡眠%d秒" % first_plan_time程式設計客棧)

return first_plan_time

# while ture**塊,掛起程式,睡眠時間結束後呼叫函式名進行執行

while true:

s1 = one_plan()

time.sleep(s1)

# 下面這裡是自己定義的函式,想跑**的可以換成hellow world函式或者注釋掉這行測試下

exe_file(d_list)

print("www.cppcns.com正在執行首次更新程式")

個人感覺使用這種方式bksbwemhqy進行定時計畫的啟動如果為單個程式,並且一天執行一次的話沒什麼問題,如果要考慮到一天執行多個任務並且一天需要執行多次,短板一下就凸顯出來了,

在工作的情況中還需要考慮到很多因素bksbwemhqy,比如爬蟲程式需要在晚上12點和早上6點,9點,下午3點執行四次,並且需要同時執行4個爬蟲,還需要考慮到網路是否穩定,如果程式掛掉該怎麼處理等等因素

本文標題: python while true實現爬蟲定時任務

本文位址: /jiaoben/python/317288.html

爬蟲 定時任務

python3.6 cd root work vivo 0 exit 1 root software anaconda3 envs spider bin python3.6 py vivo crawler.log 2 1注釋 cd root work vivo 進入到資料夾 root softwar...

爬蟲定時任務crontab

1.crontab的安裝和介紹 1其中 表示重定向,把print等資訊匯入log中 cd dirname 0 exit 1固定寫法,表示先進入當前目錄,如果失敗則退出該sh指令碼2 1表示把標準錯誤作為標準輸出,輸入用0表示,標準輸出用1表示,標準錯誤用2標識,通過該命令能夠把錯誤一起輸出到log中...

PHP Crontab Flock實現定時任務

crontab是乙個unix linux系統下的常用定時執行任務 安裝crontab yum install vixie cron crontabs vixie cron軟體包為cron的主程式,crontabs是用來安裝 解除安裝 列舉程序 的程式 chkcofig crond on 開機自啟動 ...