Scrapy環境搭建

.建立乙個新的專案

scrapy startproject [專案名]
2.生成爬蟲
scrapy genspider +檔名+**
3.執行(crawl)
scrapy crawl +爬蟲名稱
scrapy crawl [爬蟲名] -o zufang.json
# -o output
scrapy crawl [爬蟲名] -o zufang.csv
4.check檢查錯誤
scrapy check
5.list返回專案所有spider名稱
scrapy list
6. view 儲存、開啟網頁
scrapy view 
7. scrapy shell，進入終端
scrapy shell 
8. scrapy runspider
scrapy runspider zufang_spider.py

json格式，預設為unicode編碼

scrapy crawl 專案名 -o 專案名.json
json lines格式，預設為unicode編碼
scrapy crawl 專案名 -o 專案名.jsonlines
csv 逗號表示式，可用excel開啟
scrapy crawl 專案名 -o 專案名.csv
xml格式
scrapy crawl 專案名 -o 專案名.xml

scrapy環境搭建

在spiders目錄下建立 doubanspider.py 檔案，內容如下 coding utf 8 import scrapy class firstspider scrapy.spider name douban 爬蟲的名字，執行時候使用 start urls 需要爬去的url def pars...

Scrapy環境搭建

win7系統下搭建scrapy環境 以我電腦f盤建立的venv為例 1.cd venv 2.cd scripts 3.activte deactivate 進入 退出 虛擬環境 4.cd 5.pip install c users administrator desktop twisted 18.4...

ubutun 搭建scrapy環境

scrapy官方文件 本人ubutun系統只有python3，無python2 可以了解python。2020不在更新python兩年前的了解，目前不知道 可以跳過安裝python3 一 安裝以下依賴項 sudo apt get install python3 dev python3 pip lib...