安裝scrapy
scrapy執行在python2.7和python3.3或以上版本(windows還不支援python3)。
如果你已經熟悉python包的安裝,你可以安裝scrapy使用它的pypi依賴:
pip install scrapy
我們強烈建議你把scrapy安裝在乙個專用的虛擬環境中,以避免和你的系統包衝突。
更多細節和平台規範介紹,繼續往下讀。
things that are good to know
scrapy完全使用python編寫,依賴少量的關鍵python包(包括):
lxml,乙個高效的xml和html直譯器
parsel,基於lxml的html/xml資料提取包
w3lib,處理url和web頁面編碼的多用途助手
twisted,非同步網路框架
scrapy測試所需最小版本:
twisted 14.0
lxml 3.4
pyopenssl 0.14
scrapy可能使用更老的版本包也能工作但是不保證將來繼續有效畢竟沒有測試過。
這些包有些依賴非python包,那可能需要根據你的平台新增安裝步驟。請檢查特定平台下指南。
使用乙個虛擬的環境(建議)
tl;dr: 我們建議在所有平台上都是用虛擬環境安裝scrapy。
python包既可以使用全域性安裝(系統範圍)也可以個人安裝。我們不建議在系統範圍安裝。
反而,我們建議你使用稱為虛擬環境(virtualenv)安裝scrapy。虛擬環境使你不會和已安裝的python系統包(這些可能毀壞你的一些系統工具和指令碼)衝突,可以直接正常使用pip(不需要sudo等)。
開始使用虛擬環境,看(虛擬環境安裝介紹)。
$ [sudo] pip install virtualenv
一旦你建立了虛擬環境,你就可以使用它的pip安裝scrapy,就像安裝其他的python包一樣。(檢視特定平台規範)下非python包的安裝依賴,你可能需要先安裝這些。
python虛擬環境可使用python2或者python3建立。
如果你想使用python3安裝scrapy,那麼使用python3的虛擬環境安裝scrapy
如果你想使用python2安裝scrapy,那麼使用python2的虛擬環境安裝scrapy
特定平台安裝說明
windows
安裝python2.7
你需要把python的執行路徑和指令碼新增到path環境變數。下面的路徑需要新增到path:
c:\python27\;c:\python27\scripts\;
更新path,開啟命令函並執行:
c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
關閉命令列視窗並重新開啟執行下面命令並檢查python版本:
python --version
安裝pywin32
(使用python<2.7.9的需要)安裝pip
此時python2.7和pip包管理器都可使用,安裝scrapy:
pip install scrapy
python3不在windows中支援,因為scrapy核心需要的twisted在python3中不支援windows。
ubuntu 12.04及以上版本
scrapy已經在最新的lxml,twisted和pyopenssl的幾個版本上做過測試,並且相容最新的ubuntu發行版。但也支援ubuntu的老版本,如ubuntu 12.04,雖然存在潛在的tls連線問題。
不要使用ubuntu提供的python-scrapy安裝包,他們太老了,趕上最新的scrapy很慢。
在ubuntu系統上安裝scrapy,你需要安裝以下依賴:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
python-dev,zlib1g-dev,libxml2-dev和libxslt-dev是由於lxml需要。
libssl-dev和libffi-dev是由於cryptography需要。
如果你想基於python3安裝scrapy,還需要安裝python3的開發標頭檔案:
sudo apt-get install python3 python3-dev
之後在虛擬環境中,使用pip命令安裝scrapy
pip install scrapy
前端vscode安裝嚮導
visual studio code 簡稱 vs code vsc 是一款免費開源的現代化輕量級 編輯器,支援幾乎所有主流的開發語言的語法高亮 智慧型 補全 自定義熱鍵 括號匹配 片段 對比 diff git 等特性,支援外掛程式擴充套件,並針對網頁開發和雲端應用開發做了優化。軟體跨平台支援 win...
Scrapy1 5入門(二) 安裝嚮導
scrapy可以執行在python2.7版本和python3.4或者及其以上版本。如果你正在使用anaconda或者miniconda,你可以從conda forge通道來安裝這個包,該通道具有linux windows和os x平台下最新的包。使用conda安裝scrapy,執行如下命令 cond...
windows安裝嚮導中沒有IIS怎麼辦
今天裝iss遇到的問題,分享下 1 在c windows inf目錄下開啟安裝資訊檔案sysoc.inf,在 components 節中增加iis iis.dll,ocentry,iis.inf,7,儲存退出 2 找個xp系統安裝盤,或者xp系統iso映象檔案,搜尋兩個檔案 iis.dl 和iis....