Python2 7下安裝Scrapy框架

2021-08-01 00:26:16 字數 1872 閱讀 5893

由於畢業設計的要求,需要在**上抓取大量的資料,那麼使用scrapy框架可以讓這一過程變得簡單不少,畢竟scrapy是乙個為了爬去**資料、提取結構性資料而編寫的應用框架。於是,便開始了我的安裝scrapy框架之旅。可以說這個過程並不是很愉快,各種錯誤各種出,不過到最後,終於安裝上了scrapy框架。下面總結一下我的scrapy框架的安裝。

1.安裝python2.7

由於scrapy不支援python3.0,於是我解除安裝了python3.0,又重新安裝了python2.7(python2.7安裝包),在安裝python2.7的時候,會有乙個自動設定環境變數的選項,建議在這裡將選項選上,省下後期自己新增環境變數。我們後期自己新增環境變數,就是根據自己實際安裝的路徑,在系統的環境變數path中新增這兩條語句就可以。

在配置完環境之後,我們測試一下我們是否安裝配置環境成功。只要在cmd中輸入 python –version ,然後能夠顯示正確的python版本就可以了。如果未能顯示,則重啟一下cmd試試。

2.安裝pywin32

在安裝配置好python2.7之後,我們還不能直接安裝scrapy,我們首先需要安裝scrapy依賴的幾個工具。接下來安裝pywin32(pywin32安裝包),這個軟體安裝的時候一直next就可以了。

3.安裝pip

在查詢一番資料之後,終於將問題解決了,為了解決中文路徑的問題,我們只需要在 d:\python27\lib\site-packages的目錄下新建乙個名為

sitecustomize.py的檔案即可。

然後在檔案內輸入以下**:

import sys

reload(sys)

sys.setdefaultencoding(『gbk』)

1 2

3 1

2 3

當然不一定一定要設定為gbk編碼,這個根據自己的電腦的編碼來設定。這樣我們的中文路徑問題就算解決了,我們在重啟cmd,在執行安裝pip語句之後,pip便順利完成了。安裝完成之後,我們可以進行一下檢驗,在cmd中輸入pip –version,如果顯示正確的版本號則說明正確。

4.安裝lxml

在安裝完成pip之後,本想可以輕鬆的使用pip install lxml命令來進行安裝,但是意外發生了,由於使用pip需要vc2008的環境,而且只能是2008的,2013的都不行。沒辦法為了使用這款工具,只能在去求教度娘,終於找到了解決辦法,原來微軟給我們提供了vcforpython(vcforpython安裝包),這樣我們就不用安裝vc2008了,這樣之後,我們便可以使用 pip install lxml進行安裝了。

5.安裝pyopenssl

在安裝這個工具的時候我們便可以使用 pip install pyopenssl 語句來進行安裝了,安裝的速度取決於網速了。

6.安裝scrapy

終於經歷一波坎坷之後,我們終於可以安裝scrapy框架了,在cmd中輸入 pip install scrapy命令之後,我們就可以等著享受成功的喜悅了。在安裝完成之後,我們在cmd中輸入scrapy來檢測一下,是否真正的安裝成功。

終於安裝好了,還是有點成就感的。

python2 7下安裝PIL庫

window7下安裝 2 pip install pil allow external pil allow unverified pil ubuntu下安裝 1 先安裝gcc編譯 sudo apt get install python dev 2 安裝依賴包 sudo apt get install...

Python2 7下安裝Scrapy框架

由於畢業設計的要求,需要在 上抓取大量的資料,那麼使用scrapy框架可以讓這一過程變得簡單不少,畢竟scrapy是乙個為了爬去 資料 提取結構性資料而編寫的應用框架。於是,便開始了我的安裝scrapy框架之旅。可以說這個過程並不是很愉快,各種錯誤各種出,不過到最後,終於安裝上了scrapy框架。下...

python2 7換行 Python2 7基礎語法

1.建立檔案xx.py usr bin python3 print hello,world 2.linux下執行 python hello.py 3.編碼 預設字串unicode 設定編碼 coding utf 8 4.識別符號 第乙個字元必須是字母表中字母或下劃線 識別符號的其他的部分有字母 數字...