寫了幾個爬蟲的雛形,想看看有沒有現成的,發現了scrapy,筆記本win10,想用新版本py3來裝scrapy,老是提示error: microsoft visual c++ 14.0 is required. get it with 「microsoft visual c++ build tools」: 媽蛋vc++執行庫裝上根本沒用,從博主這裡(發現了個好方法,留下分享:
安裝方法
首先安裝wheel
pip install wheel
安裝完成後驗證是否成功
wheel
注:[whl]表示你的.whl檔案,一定要全名,***x.whlpip
install
[whl]
因為scrapy框架基於twisted
最後裝scrapy
ok,現在好啦!pip
install
[whl]
建個專案測試一下
scrapy startproject pyjy
注:pyjy為專案名
成功了,撒花~~
Python3 Scrapy 安裝方法
看了看相關介紹後選擇了scrapy框架,然後興高采烈的開啟了控制台,坑出現了。執行報錯 error unable to find vcvarsall.bat最後花費了將近一天的時間,終於找到了解決方法。使用wheel安裝。這個 裡邊是編譯好的各種庫的 同時,推薦一篇我的scrapy入門例項部落格 s...
Python3 scrapy學習小結
1.如何建立scrapy工程?命令列中輸入 scrapy startproject projectname projectname是自定義的工程名稱 2.spiders資料夾這部分處理怎麼爬取資料。通常有乙個或者多個spider,每個spider有下面四個基本的組成 除此外會有其它的自定義變數或函式...
Python3 Scrapy 框架學習
1.安裝scrapy 框架 windows 開啟cmd輸入 pip install scrapy2.新建乙個專案 比如這裡我新建的專案名為first scrapy startproject first然後看一些目錄結構 首先在專案目錄下有乙個scrapy.cfg 檔案,這個檔案是關於整個專案的一些配...