本機環境是window10環境,直接在命令列安裝
安裝如果錯誤也可以參考:
是否是你的錯誤
如果安裝成功,命令列最後會顯示
bilibili上面有很多教程
命令列輸入:scrapy startproject hanzida
進入到建立的爬蟲專案目錄下執行命令:
hanyuspider是你的檔案名字,不要與專案名字重名
'hanyu.baidu.com』是你要爬取的**網域名稱
在專案下就建立了爬蟲檔案
如果你是新專案的話,spiders下面就兩個檔案
_init.py、hanyuspider.py (其它檔案是我之前建立的)
start_urls = ['好&from=poem']
def parse(self, response):
if selectors is not none:
for selector in selectors:
select = selector.xpath('./dd//p')
for sele in select:
ss = sele.xpath('./text()').get()
print(ss)
scrapy crawl hanyuspider(你的爬蟲檔案名字)
可以看到p標籤裡面的基本釋義取出來了。
python Scrapy模組的安裝
windows系統在已經安裝了python直譯器的情況下可以直接在cmd視窗執行 python syntaxhighlighter viewsource syntaxhighlighter copycode?1 pip install scrapy 這時候需要開啟 syntaxhighlighter...
Python scrapy安裝過程
安裝scrapy的時候,使用pip install scrapy一般會失敗。報超時的錯誤 所以我們需要換另一種形式來安裝,我們先將scrapy安裝過程中所用到的依賴的庫安裝完成之後,在安裝scrapy,這樣子便可以安裝成功了。需要注意的是我們安裝的這些庫,都是通過wheel來安裝的。因此在安裝這些庫...
Python Scrapy爬蟲框架安裝
pip install d twisted 20.3 0 cp38 cp38 win32.whl 3 到這裡在使用pip install scrapy一般都可以成功了 pip install scrapy4 如果第3步任然失敗,可以將scrap依賴的庫lxml pyopenssl pywin32先分...