不是python檔案中的，而是在虛擬機器中執行的命令列，先要workon進入虛擬環境
2.scrapy 框架的使用
-1.新建專案
命令：scrapy startproject [project_dir]
注意：cd到想要建立專案的目錄下
-2.編寫爬蟲
-手動編寫
-1.繼承scrapy.spider
-2.name屬性
-3.start_urls
-4.parse方法
-命令列：scrapy genspider [-t template]
scrapy genspider tzc
www.shiguangkey.com
-3.啟動爬蟲
-scrapy crawl
-4.追蹤連線
return scrapy.request()
Scrapy 命令列工具
startproject 全域性命令 在當前路徑下建立乙個名為myproject的 scrapy專案 語法 scrapy startproject myproject genspider 需要專案 在當前專案中建立spider僅僅是建立spider的一種快捷方法，可以使用提前定義好的模板來生成spi...
scrapy 命令列操作
1.建立專案 scrapy startproject myproject cd myproject 2.建立爬蟲 scrapy genspider t crawl myspider www.baidu.com 建立有rules配置 3.執行爬蟲 scrapy crawl myspider 4.錯誤檢...
scrapy爬蟲》scrapy命令列操作
1.mysql資料庫 2.mongodb資料庫 3.redis資料庫 1.建立專案 scrapy startproject myproject cd myproject 2.建立爬蟲 scrapy genspider t crawl myspider www.baidu.com 建立有rules配置...