Python scrapy環境搭建

2021-09-25 15:40:03 字數 918 閱讀 7457

scrapy有很多依賴包,在windows 下安裝很複雜。直接pip安裝scrapy會報出很多錯誤。具體依賴問題使用下面安裝的例子

先安裝框架需要的依賴包,然後再安裝scrapy框架。

直接使用pip命令 pip install wheel

在pip install lxml-4.3.3-cp37-cp37m-win_amd64.whl

在pip install  zope.inte***ce-4.6.0-cp37-cp37m-win_amd64.whl

pip install pyopenssl-19.0.0-py2.py3-none-any.whl

#twisted

pip install twisted-19.2.0-cp37-cp37m-win_amd64.whl

以上lxml、zope.inte***ce、pyopenssl、twisted包安裝完畢成功示意如圖1:

圖1:lxml、zope.inte***ce、pyopenssl、twisted包安裝

直接「下一步」安裝就好

圖2 pywin32安裝

【只要按要求將上面的依賴包都安裝成功,scrapy就能安裝成功了】

使用pip install scrapy命令安裝scrapy框架。scrapy安裝成功如圖3.

圖3 scrapy成功安裝

命令列中輸入scrapy,可以看到scrapy可以使用的命令。

python scrapy 環境搭建

這裡介紹的是windows環境 python3的安裝過程。提取碼 q9l9 二 twisted 的支援 scrapy 是在twisted 框架上開發的,自然需要安裝twisted 包。pip install twisited三 安裝scrapy pip install scrapy當然這是最順利的情...

github pages Jekyll環境搭建

通過jekyll可以搭建 簡單理解成網頁生成規則,就是通過配置能自動幫你生成靜態網頁的東西。如何配置,請看 首先要更新ruby,系統倉庫裡最新的是1.9.3,而jekyll要求 2.0 最終版本資訊 ruby v ruby 2.3.3p222 2016 11 21 revision 56859 x8...

iOS WebDriverAgent 環境搭建

webdriveragent是facebook 在去年的 seleniumconf 大會上推出了一款新的ios移動測試框架。當時的推文申明,還只支援模擬器,不過在今年4月更新的版本中,官方宣稱支援真機測試了,大家可以檢視官方github 的介紹 下面摘錄一段官方對於webdriveragent的介紹...