看了看相關介紹後選擇了scrapy框架,然後興高采烈的開啟了控制台,
坑出現了。。。。
執行報錯
error: unable to find vcvarsall.bat
最後花費了將近一天的時間,終於找到了解決方法。
使用wheel安裝。
這個**裡邊是編譯好的各種庫的
同時,推薦一篇我的scrapy入門例項部落格:
scrapy爬蟲框架入門例項
希望可以幫到剛接觸python和scrapy的同學。
首先安裝wheel
pip install wheel
安裝完成後驗證是否成功
wheel
安裝成功是這樣
注:[whl]表示你的.whl檔案,一定要全名,***x.whl
然後,並沒有結束。。。。。
安裝過程還是有可能失敗
可能會出現
failed to build ***x
之類的提示一閃而過(比如說我提示的 twisted),最後安裝失敗還是提示
error: unable to find vcvarsall.bat
為什麼會這樣那,因為scrapy框架基於twisted
最後終於成功了。
建個專案測試一下
scrapy startproject pyjy
Python3 Scrapy 安裝方法
寫了幾個爬蟲的雛形,想看看有沒有現成的,發現了scrapy,筆記本win10,想用新版本py3來裝scrapy,老是提示error microsoft visual c 14.0 is required.get it with microsoft visual c build tools 媽蛋vc ...
Python3 scrapy學習小結
1.如何建立scrapy工程?命令列中輸入 scrapy startproject projectname projectname是自定義的工程名稱 2.spiders資料夾這部分處理怎麼爬取資料。通常有乙個或者多個spider,每個spider有下面四個基本的組成 除此外會有其它的自定義變數或函式...
Python3 Scrapy 框架學習
1.安裝scrapy 框架 windows 開啟cmd輸入 pip install scrapy2.新建乙個專案 比如這裡我新建的專案名為first scrapy startproject first然後看一些目錄結構 首先在專案目錄下有乙個scrapy.cfg 檔案,這個檔案是關於整個專案的一些配...