Python3 Scrapy 安裝方法

2021-08-07 16:03:51 字數 1015 閱讀 6753

看了看相關介紹後選擇了scrapy框架,然後興高采烈的開啟了控制台,

坑出現了。。。。

執行報錯

error: unable to find vcvarsall.bat
最後花費了將近一天的時間,終於找到了解決方法。

使用wheel安裝。

這個**裡邊是編譯好的各種庫的 

同時,推薦一篇我的scrapy入門例項部落格:

scrapy爬蟲框架入門例項

希望可以幫到剛接觸python和scrapy的同學。

首先安裝wheel

pip install wheel
安裝完成後驗證是否成功

wheel
安裝成功是這樣 

注:[whl]表示你的.whl檔案,一定要全名,***x.whl

然後,並沒有結束。。。。。

安裝過程還是有可能失敗

可能會出現

failed to build ***x
之類的提示一閃而過(比如說我提示的 twisted),最後安裝失敗還是提示

error: unable to find vcvarsall.bat
為什麼會這樣那,因為scrapy框架基於twisted

最後終於成功了。 

建個專案測試一下

scrapy startproject pyjy

Python3 Scrapy 安裝方法

寫了幾個爬蟲的雛形,想看看有沒有現成的,發現了scrapy,筆記本win10,想用新版本py3來裝scrapy,老是提示error microsoft visual c 14.0 is required.get it with microsoft visual c build tools 媽蛋vc ...

Python3 scrapy學習小結

1.如何建立scrapy工程?命令列中輸入 scrapy startproject projectname projectname是自定義的工程名稱 2.spiders資料夾這部分處理怎麼爬取資料。通常有乙個或者多個spider,每個spider有下面四個基本的組成 除此外會有其它的自定義變數或函式...

Python3 Scrapy 框架學習

1.安裝scrapy 框架 windows 開啟cmd輸入 pip install scrapy2.新建乙個專案 比如這裡我新建的專案名為first scrapy startproject first然後看一些目錄結構 首先在專案目錄下有乙個scrapy.cfg 檔案,這個檔案是關於整個專案的一些配...