安裝檔案
lxml、pyopenssl、twisted、pywin32
執行 scrapy
建立乙個專案：
scrapy startproject hello
建立乙個爬蟲：
執行爬蟲：
資料夾裡有.cfg檔案，是scrapy相關部署資訊
items 儲存資料的資料結構
middlewares 爬去過程中的中間地，處理response等操作，可以改配置
進入命令列互動模式：
scrapy shell quotes.toscrape.com
Scrapy命令列基本用法
1.建立乙個新專案 scrapy startproject myproject 2.在新專案中建立乙個新的spider檔案 scrapy genspider mydomain mydomain.com mydomain為spider檔名，mydomain.com為爬取 網域名稱 3.全域性命令 st...
scrapy 命令列基本用法
1.建立乙個新專案 scrapy startproject myproject2.在新專案中建立乙個新的spider檔案 scrapy genspider mydomain mydomain.commydomain為spider檔名，mydomain.com為爬取 網域名稱 3.全域性命令 star...
scrapy框架基本使用
進入工程目錄 建立爬蟲檔案 編寫爬蟲檔案 執行工程 allow domains 允許的網域名稱 parse self,response scrapy工程預設是遵守robots協議的，需要在配置檔案中進行操作。基於管道 3.將在爬蟲檔案中解析的資料儲存封裝到item物件中 4.將儲存了解析資料的ite...