一.windows下部署scrapy 本地
1.installs
a. 安裝客戶端 (py3scrapy) c:\users\liuyc>pip install scrapyd-client 主要用來打包爬蟲專案
b. linux: 可以直接執行打包 (py3scrapy) c:\linuxshare\articlespider\articlespider>scrapyd-deploy
windows:下必須在 c:\envs\py3scrapy\scripts 虛擬環境的檔案下建立 scrapyd-deploy.bat
內容為:
@echo off
"c:\envs\py3scrapy\scripts\python.exe" "c:\envs\py3scrapy\scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
修改專案中c:\linuxshare\articlespider\scrapy.cfg內容:去掉url前面的#
然後就可以執行打包 (py3scrapy) c:\linuxshare\articlespider>scrapyd-deploy liuyc -p articlespider
c. 安裝scrapyd伺服器 (py3scrapy) c:\linuxshare\articlespider>pip install scrapyd
(1) 注意:隨意找個目錄建立資料夾scrapyd
(2) 首先保證有scrapy庫並且可以執行 scrapy list
(3) 啟動scrapyd然後通過http可以對爬蟲資訊進行監控 (py3scrapy) c:\scrapy\resource\scrapyd>scrapyd
(5) 排程乙個爬蟲 例如:curl http://localhost:6800/schedule.json -d project=articlespider -d spider=zhilian
(6) 通過 http://localhost:6800/jobs 檢視
python第七章 python教程(第七章)
字典和集合 字典是python中唯一,乙個對映型別 如何建立乙個字典,如下 dict dict 滲透 網路安全 怎麼理解字典呢?現實生活中的字典可以通過首字母進行查詢要查詢的漢子,python也可以這樣理解,通過 前的元素查詢到冒號後的元素。為什麼說字典是唯一乙個對映型別呢?看圖。對映型別區別與序列...
第七章 函式
1.ansi c 允許函式原型的使用,函式宣告提供給編譯器和之後的呼叫函式返回值型別,引數型別和數量的資訊,而k c用單獨的列表給出引數的型別,編譯器只記住函式的返回值型別,但不儲存函式的引數數量和型別 2.沒有return語句的函式,隱式的返回 3.函式的原型可以單獨放於乙個標頭檔案中,一定要具有...
第七章總結
7.2.2畫直線 畫直線使用cdc類的lineto 函式兩個過載版本 bool lineto int x,int y bool lineto point point 引數x y或point指定直線的終點位置,此函式從當前點到指定的終點之間畫一條直線,當前點包括在直線上,而終點不包括在直線上。如果畫線...