Scrapy1 5入門(二) 安裝嚮導

2021-09-07 03:59:31 字數 3326 閱讀 7328

scrapy可以執行在python2.7版本和python3.4或者及其以上版本。

如果你正在使用anaconda或者miniconda,你可以從conda-forge通道來安裝這個包,該通道具有linux、windows和os x平台下最新的包。

使用conda安裝scrapy,執行如下命令:

conda install -c conda-forge scrapy

或者,如果你已經熟悉python包的安裝,可以從pypi安裝scrapy及其依賴項:

pip install scrapy

需要注意的是,有時候這可能需要根據你的作業系統解決一些依賴項的編譯問題,因此請務必檢查[特定於平台的安裝說明](file:///f:/book/scrapy_1.5%e5%ae%98%e7%bd%91html/scrapy-latest/index.html#intro-install-platform-notes)。

我們能強烈推薦你在[專用的虛擬環境](file:///f:/book/scrapy_1.5%e5%ae%98%e7%bd%91html/scrapy-latest/index.html#intro-using-virtualenv)中安裝scrapy,這樣可以避免與你系統中的包相衝突。

scrapy使用純python編寫的,並且它依賴了一些python包:

scrapy所需依賴包的最低版本:

scrapy可以使用這些包的舊版本,但不能保證它會繼續工作,因為它沒有針對這些包進行測試。

其中一些包本身依賴於非python包,這些包可能需要額外的安裝步驟。如果遇到與這些依賴項有關的問題,請參閱它們各自的安裝說明:

我們建議在平台的虛擬環境中安裝scrapy。

python包可以全域性安裝,或者安裝在使用者空間中。我們不建議在整個系統範圍內安裝scrapy。

相反,我們推薦在虛擬環境(virtualenv)中安裝scrapy。virtualenv允許你不與已經安裝的python系統包發生衝突(這會破壞一些系統工具和指令碼),並且仍然可以正常地使用pip安裝包(沒有sudo等)。

為了使用虛擬環境,請參閱virtualenv安裝說明。這裡使用全域性安裝:

$ [sudo] pip install virtualenv

你可以檢視這裡的使用者指南,了解如何建立你的virtualenv。

一旦建立了virtualenv,就可以使用pip在其中安裝scrapy,就像任何其他python包一樣(請參閱下面特定於平台的指南,了解可能需要預先安裝的非python依賴項)。

python virtualenv可以使用python2安裝,也可以使用python3安裝。

雖然可以使用pip在windows上安裝scrapy,但我們建議你安裝anaconda或miniconda,並使用來自conda-forge通道的包,這樣可以避免大多數安裝問題。

一旦你已經安裝了anaconda或miniconda,你可以使用下面的命令安裝scrapy:

conda install -c conda-forge scrapy

scrapy目前使用足夠多的lxml、twisted和pyopenssl版本進行了測試,並與最近的ubuntu發行版相容。但它也應該支援老版本的ubuntu,比如ubuntu14.04,儘管tls連線可能存在問題。

不要使用ubuntu提供的python-scrapy包,它們通常太久,跟不上最新的scrapy。

為了在ubuntu(或者基於ubuntu的)系統上安裝scrapy,你需要安裝這些依賴項:

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

如果你希望在python3上安裝scrapy,命令如下:

sudo apt-get install python3 python3-dev

在virtualenv中,你可以在上述命令後使用pip來安裝scrapy:

pip install scrapy

構建scrapy的依賴關係需要有乙個c編譯器和開發標頭檔案。在os x上,這通常是由蘋果的xcode開發工具提供的。要安裝xcode命令列工具,請開啟終端視窗並執行:

xcode-select --install

這裡有乙個已知的問題阻止了pip更新系統包。要成功安裝scrapy及其依賴項,必須解決這個問題。以下是一些建議的解決方案:

echo 「export path=/usr/local/bin:/usr/local/sbin:$path」 >> ~/.bashrc

source ~/.bashrc

brew install python

brew update; brew upgrade python

(可選)在隔離的python環境中安裝scrapy。

此方法是針對上述os x問題的解決方案,但它是管理依賴關係的總體良好實踐,可以補充第乙個方法。

你可以使用virtualenv在python中建立虛擬環境。我們推薦閱讀教程。

在這些工作結束後,你應該能夠安裝scrapy了:

pip install scrapy

我們建議使用最新的pypy版本。測試的版本是5.9.0。對於pypy3,只測試了linux安裝。

對於cpython而言,大多數依賴於scrapy的類現在都有了二進位製輪(字尾為whl的安裝包),但是對於pypy沒有。這意味著這些依賴項將在安裝期間構建。在os x上,你可能會遇到構建cryptography依賴的問題,這裡描述了這個問題的解決方案,即使用brew install openssl,然後匯出該命令建議的標誌(僅在安裝scrapy時需要)。在linux上安裝除了安裝構建依賴之外,沒有其他特殊問題。在windows上安裝pypy的scrapy是沒有經過測試的。

通過執行scrapy bench,你可以檢查scrapy是否正確安裝了。如果該命令給出了諸如typeerror: … got 2 unexpected keyword arguments的錯誤,這意味著setuptools無法獲得乙個特定於pypy的依賴項。為了修復這個問題,請執行pip install 『pypydispatcher>=2.1.0』。

python安裝嚮導 Scrapy安裝嚮導

安裝scrapy scrapy執行在python2.7和python3.3或以上版本 windows還不支援python3 如果你已經熟悉python包的安裝,你可以安裝scrapy使用它的pypi依賴 pip install scrapy 我們強烈建議你把scrapy安裝在乙個專用的虛擬環境中,以...

Scrapy入門 環境安裝及demo執行

執行環境 win10 python3.6.5 vscode python環境的安裝本文不再贅述 下面通過pip命令安裝scrapy環境。在vscode上新建乙個終端,終端上鍵入命令 pip install scrapy pip會自動收集依賴的庫資訊,並依次安裝 筆者在執行過程中遇到了兩個問題,乙個是...

Scrapy學習 二 安裝及專案結構

3 安裝scrapy,直接pip install scrapy。不報錯就安裝成功了 進入到工作目錄,比如d git spider,直接執行命令 scrapy startproject city 58 這樣就成功建立了乙個專案,進入到專案目錄下,包含下列內容 city 58 scrapy.cfg ci...