scrapy定時執行抓取任務

當我們寫好抓取資料的指令碼.py檔案時，需要輸入命令：scrapy crawl projectname 來執行。

那麼怎麼做乙個定時器，讓這個.py指令碼進行定時執行呢？

步驟如下：

1、寫乙個shell指令碼，加入命名為test.sh內容如下：

[python]

view plain

copy

#! /bin/sh 

export path=$path:/usr/local/bin  

#進入.py指令碼所在目錄

#執行.py中定義的專案example，並指定日誌檔案，其中nohup....&表示可以在後台執行，不會因為關閉終端而導致程式執行中斷。

nohup scrapy crawl example >> example.log 2

>&

1&  

2、通過crontab -e命令新增乙個定時器，定時執行上面的shell指令碼test.sh：

[python]

view plain

copy

058,

12,18

crontab檔案的含義：

使用者所建立的crontab檔案中，每一行都代表一項任務，每行的每個字段代表一項設定，它的格式共分為六個字段，前五段是時間設定段，第六段是要執行的命令段，格式如下：

minute   hour   day   month   week   command

其中：minute： 表示分鐘，可以是從0到59之間的任何整數。

hour：表示小時，可以是從0到23之間的任何整數。

day：表示日期，可以是從1到31之間的任何整數。

month：表示月份，可以是從1到12之間的任何整數。

week：表示星期幾，可以是從0到7之間的任何整數，這裡的0或7代表星期日。

command：要執行的命令，可以是系統命令，也可以是自己編寫的指令碼檔案。

scrapy定時執行抓取任務

當我們寫好抓取資料的指令碼.py檔案時，需要輸入命令 scrapy crawl projectname 來執行。那麼怎麼做乙個定時器，讓這個.py指令碼進行定時執行呢？步驟如下 1 寫乙個shell指令碼，加入命名為test.sh內容如下 bin sh export path path usr lo...

定時執行任務

在windows上，使用configuration task scheduler 任務計畫程式 task scheduler library 任務計畫程式庫 create task.或者 control panel scheduled tasks add a scheduled task.在linu...

定時執行任務

spring中可以通過配置方便的實現週期性定時任務管理,這需要用到以下幾個類 org.springframework.schedu ling.quartz.methodinvokingjobdetailfactorybean 配置需要排程的bean的某個方法 org.springframework....