執行平台:windows
python版本:python3.x
ide:sublime text3
一、scrapy簡介
scrapy是乙個為了爬取**資料提取結構性資料而編寫的應用框架,可以應用於資料探勘,資訊處理或儲存歷史資料等一些列的程式中。scrapy最初就是為了網路爬取而設計的。現在,scrapy已經推出了曾承諾過的python3.x版本。
為什麼學習scrapy呢?它能我們更好的完成爬蟲任務,自己寫python爬蟲程式好比孤軍奮戰,而使用了scrapy就好比手底下有了千軍萬馬。scrapy可以起到事半功倍(甚至好幾倍*.*)的效果。所以,學習scrapy也就顯得很有必要了。
二、swww.cppcns.comcrapy安裝
1.直接使用指令pip3 install scrapy,發現有諸多錯誤。
遇到的錯誤,如下圖所示:
2.解決辦法
(1)在cmd中輸入指令python,檢視python的版本,如下:
從上圖可以看出可以看出我的python版本為python3.5.2-64bit。
(2)登陸搜尋lxml、twisted、scr**對應的版本,例如:lxml-3.7.3-cp35-cp35m-win_adm64.whl,表示lxml的版本為3.7.3,對應的python版本為3.5-64bit。我**的版本如下圖所示:
在cmd中輸入dos指令,進程式設計客棧入**好的whl資料夾下,例如我的三個whl檔案放在了scrapy資料夾下:
(4)xdokustj依次執行如下命令:
a.pip3 install wheel
b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl
c.pip3 install twisted-17.1.0-cp35-cp35m-win_amd64.whl
d.pip3 install scrapy-1.3.2-py2.py3-none-any.whl
這樣scrapy的安裝就完成了,請忽略最後兩行讓我公升級pip的資訊。*.*
(5)srapy已經安裝成功,還要**pywin32,找到對應版本**,一路下一步安裝即可。安裝完成後,就可以正常使用scrapy了。
url:
至此,大功告成,我們可以愉快的使用scrapy了。
總結本文標題: 詳解python安裝scrapy的正確姿勢
本文位址:
Python安裝目錄詳解
最常用到的就是圖中標出的python參考文件與python的標準庫。具體 dlls python的動態鏈結庫,跟編譯器有關,和python 程式設計關係不大 doc python的參考書,有很多例項 lnclude python編譯器的c語言原始碼 lib 這個庫很重要,是python的標準庫,你擴...
python編譯安裝詳解 Python 編譯安裝
目錄 隱藏 更多研究 好處它不如yum等安裝工具的安裝,不會破壞原來系統的關聯 通常不會 它的安裝只是將檔案放置於恰當的位置 有趣可重複編譯 看起來你隨便編譯幾次都隨你 困擾如何解除安裝原始碼安裝呢?可能解除安裝原始碼安裝嗎?經驗centos5 編譯安裝python2.7 獲得python2.7.4...
Python庫的安裝詳解
安裝非標準python庫 python標準庫中,用於網頁資料採集的有urllib庫,同樣,有很多優秀的開源庫,像beautifulsoup庫 requests庫等。接下來就介紹一些開源庫的安裝方法。下面檢查 python 是否安裝成功,開啟命令列視窗 或者快捷鍵 windows 徽標鍵 r 後輸入 ...