3、安裝scrapy,直接pip install scrapy。不報錯就安裝成功了
進入到工作目錄，比如d:\git\spider，直接執行命令：scrapy startproject city_58
這樣就成功建立了乙個專案，進入到專案目錄下，包含下列內容：
city_58
|scrapy.cfg
|--city_58
| items.py
| middlewares.py
| pipelines.py
| settings.py
| __init__.py
|--spiders
| __init__.py
city_58目錄下的檔案分別是：
scrapy.cfg：專案部署時的配置檔案
city_58/：專案模組，可以在這個目錄下加入**
city_58/items.py：items的定義，定義爬取的資料結構
city_58/pipelines.py：定義資料管道
city_58/middlewares.py：定義爬取時的中介軟體
city_58/settings.py：配置檔案
city_58/spiders/：放置spiders的資料夾
進入專案模組資料夾，這裡是city_58,執行命令： scrapy genspider spider_city_58 58.com,其中spider_city_58 為爬蟲名稱，用於區別spider,該名字必須是唯一的；58.com為啟動時進行爬取的入口url
scrapy 五 scrapy專案二
在之前的基礎上，新增多個url進行爬取，第一種是將需要爬取的 都列出來，在start urls中 在basic.py中 start urls 第二種是如下寫法 start urls i.strip for i in open todo.urls.txt readlines 水平爬取就是next pa...
scrapy的安裝，scrapy建立專案
簡要 scrapy的安裝 1 pip install scrapy i 國內源 一步到位 2 報錯1 building twisted.test.raiser extension error microsoft visual c 14.0 is required.get it with micros...
Scrapy 安裝及使用
目前只支援python2 pip install scrapy公升級scrapy pip install upgrade scrapy和scrapy打交道時，你所遵循得最通用的流程是ur im流程。進入你想儲存專案的目錄 scrapy startproject tutorialtutorial sc...