以mac os為例：
（1）安裝python 3
(2) 安裝pip依賴
（3）為pip設定**
pip install -i redis
（4）安裝virtualenv
pip3 install virtualenv
（5）初始化virtualenv
virtualenv --no-site-packages venv
（6)執行virtualenv環境
當前工程目錄下，執行
source venv/bin/activate
(7)退出virtualenv環境
deactivate
(8)新增scrapy等依賴，requirements.txt內容如下：
scrapy==1.8.0
selenium==3.141.0
requests==2.22.0
(9)安裝依賴
pip install -r requirements.txt
(10) 建立乙個爬蟲**
工程目錄下執行命令
`scrapy startproject projectname`
projectname修改為自己的工程命名即可。
然後就可以通過scrapy開始愉快的進行爬蟲了。
scrapy爬蟲框架學習之路 3 25
上回我們說到，如何使用python的requests請求庫爬取豆瓣高分電影榜，本次就說一說如何使用scrapy這個python爬蟲框架去實現爬蟲功能。首先，使用scrapy的框架需要經歷一下步驟 建立工程專案 scrapy的工程建立在命令列中完成的。首先在命令列中輸入，就可以建立乙個名字叫做cnbl...
scrapy的執行環境你了解嗎？
scrapy的執行環境你了解嗎？scrapy專案目錄以及各路徑檔案的用處 website scrapy.cfg test.py website bloomfilter bloomfilter.py connection.py defaults.py dupefilter.py picklecompa...
Scrapy框架學習 搭建開發環境
sudo pip3 install scrapy 測試是否安裝成功 h1標題 h1 scrapy.field h2標題 h2 scrapy.field spiders myspider.py usr bin env python coding utf 8 import scrapy from mys...