scrapy可以執行在python2.7版本和python3.4或者及其以上版本。
如果你正在使用anaconda或者miniconda,你可以從conda-forge通道來安裝這個包,該通道具有linux、windows和os x平台下最新的包。
使用conda安裝scrapy,執行如下命令:
conda install -c conda-forge scrapy或者,如果你已經熟悉python包的安裝,可以從pypi安裝scrapy及其依賴項:
pip install scrapy需要注意的是,有時候這可能需要根據你的作業系統解決一些依賴項的編譯問題,因此請務必檢查[特定於平台的安裝說明](file:///f:/book/scrapy_1.5%e5%ae%98%e7%bd%91html/scrapy-latest/index.html#intro-install-platform-notes)。
我們能強烈推薦你在[專用的虛擬環境](file:///f:/book/scrapy_1.5%e5%ae%98%e7%bd%91html/scrapy-latest/index.html#intro-using-virtualenv)中安裝scrapy,這樣可以避免與你系統中的包相衝突。
scrapy使用純python編寫的,並且它依賴了一些python包:
scrapy所需依賴包的最低版本:
scrapy可以使用這些包的舊版本,但不能保證它會繼續工作,因為它沒有針對這些包進行測試。
其中一些包本身依賴於非python包,這些包可能需要額外的安裝步驟。如果遇到與這些依賴項有關的問題,請參閱它們各自的安裝說明:
我們建議在平台的虛擬環境中安裝scrapy。
python包可以全域性安裝,或者安裝在使用者空間中。我們不建議在整個系統範圍內安裝scrapy。
相反,我們推薦在虛擬環境(virtualenv)中安裝scrapy。virtualenv允許你不與已經安裝的python系統包發生衝突(這會破壞一些系統工具和指令碼),並且仍然可以正常地使用pip安裝包(沒有sudo等)。
為了使用虛擬環境,請參閱virtualenv安裝說明。這裡使用全域性安裝:
$ [sudo] pip install virtualenv你可以檢視這裡的使用者指南,了解如何建立你的virtualenv。
一旦建立了virtualenv,就可以使用pip在其中安裝scrapy,就像任何其他python包一樣(請參閱下面特定於平台的指南,了解可能需要預先安裝的非python依賴項)。
python virtualenv可以使用python2安裝,也可以使用python3安裝。
雖然可以使用pip在windows上安裝scrapy,但我們建議你安裝anaconda或miniconda,並使用來自conda-forge通道的包,這樣可以避免大多數安裝問題。
一旦你已經安裝了anaconda或miniconda,你可以使用下面的命令安裝scrapy:
conda install -c conda-forge scrapyscrapy目前使用足夠多的lxml、twisted和pyopenssl版本進行了測試,並與最近的ubuntu發行版相容。但它也應該支援老版本的ubuntu,比如ubuntu14.04,儘管tls連線可能存在問題。
不要使用ubuntu提供的python-scrapy包,它們通常太久,跟不上最新的scrapy。
為了在ubuntu(或者基於ubuntu的)系統上安裝scrapy,你需要安裝這些依賴項:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev如果你希望在python3上安裝scrapy,命令如下:
sudo apt-get install python3 python3-dev在virtualenv中,你可以在上述命令後使用pip來安裝scrapy:
pip install scrapy構建scrapy的依賴關係需要有乙個c編譯器和開發標頭檔案。在os x上,這通常是由蘋果的xcode開發工具提供的。要安裝xcode命令列工具,請開啟終端視窗並執行:
xcode-select --install這裡有乙個已知的問題阻止了pip更新系統包。要成功安裝scrapy及其依賴項,必須解決這個問題。以下是一些建議的解決方案:
echo 「export path=/usr/local/bin:/usr/local/sbin:$path」 >> ~/.bashrc
source ~/.bashrc
brew install python
brew update; brew upgrade python
(可選)在隔離的python環境中安裝scrapy。
此方法是針對上述os x問題的解決方案,但它是管理依賴關係的總體良好實踐,可以補充第乙個方法。
你可以使用virtualenv在python中建立虛擬環境。我們推薦閱讀教程。
在這些工作結束後,你應該能夠安裝scrapy了:
pip install scrapy我們建議使用最新的pypy版本。測試的版本是5.9.0。對於pypy3,只測試了linux安裝。
對於cpython而言,大多數依賴於scrapy的類現在都有了二進位製輪(字尾為whl的安裝包),但是對於pypy沒有。這意味著這些依賴項將在安裝期間構建。在os x上,你可能會遇到構建cryptography依賴的問題,這裡描述了這個問題的解決方案,即使用brew install openssl,然後匯出該命令建議的標誌(僅在安裝scrapy時需要)。在linux上安裝除了安裝構建依賴之外,沒有其他特殊問題。在windows上安裝pypy的scrapy是沒有經過測試的。
通過執行scrapy bench,你可以檢查scrapy是否正確安裝了。如果該命令給出了諸如typeerror: … got 2 unexpected keyword arguments的錯誤,這意味著setuptools無法獲得乙個特定於pypy的依賴項。為了修復這個問題,請執行pip install 『pypydispatcher>=2.1.0』。
python安裝嚮導 Scrapy安裝嚮導
安裝scrapy scrapy執行在python2.7和python3.3或以上版本 windows還不支援python3 如果你已經熟悉python包的安裝,你可以安裝scrapy使用它的pypi依賴 pip install scrapy 我們強烈建議你把scrapy安裝在乙個專用的虛擬環境中,以...
Scrapy入門 環境安裝及demo執行
執行環境 win10 python3.6.5 vscode python環境的安裝本文不再贅述 下面通過pip命令安裝scrapy環境。在vscode上新建乙個終端,終端上鍵入命令 pip install scrapy pip會自動收集依賴的庫資訊,並依次安裝 筆者在執行過程中遇到了兩個問題,乙個是...
Scrapy學習 二 安裝及專案結構
3 安裝scrapy,直接pip install scrapy。不報錯就安裝成功了 進入到工作目錄,比如d git spider,直接執行命令 scrapy startproject city 58 這樣就成功建立了乙個專案,進入到專案目錄下,包含下列內容 city 58 scrapy.cfg ci...