python scrapy安裝及簡單運用

2021-10-06 02:29:45 字數 1144 閱讀 9886

本機環境是window10環境,直接在命令列安裝

安裝如果錯誤也可以參考:

是否是你的錯誤

如果安裝成功,命令列最後會顯示

bilibili上面有很多教程

命令列輸入:scrapy startproject hanzida

進入到建立的爬蟲專案目錄下執行命令:

hanyuspider是你的檔案名字,不要與專案名字重名

'hanyu.baidu.com』是你要爬取的**網域名稱

在專案下就建立了爬蟲檔案

如果你是新專案的話,spiders下面就兩個檔案

_init.py、hanyuspider.py (其它檔案是我之前建立的)

start_urls = ['好&from=poem']

def parse(self, response):

if selectors is not none:

for selector in selectors:

select = selector.xpath('./dd//p')

for sele in select:

ss = sele.xpath('./text()').get()

print(ss)

scrapy crawl hanyuspider(你的爬蟲檔案名字)

可以看到p標籤裡面的基本釋義取出來了。

python Scrapy模組的安裝

windows系統在已經安裝了python直譯器的情況下可以直接在cmd視窗執行 python syntaxhighlighter viewsource syntaxhighlighter copycode?1 pip install scrapy 這時候需要開啟 syntaxhighlighter...

Python scrapy安裝過程

安裝scrapy的時候,使用pip install scrapy一般會失敗。報超時的錯誤 所以我們需要換另一種形式來安裝,我們先將scrapy安裝過程中所用到的依賴的庫安裝完成之後,在安裝scrapy,這樣子便可以安裝成功了。需要注意的是我們安裝的這些庫,都是通過wheel來安裝的。因此在安裝這些庫...

Python Scrapy爬蟲框架安裝

pip install d twisted 20.3 0 cp38 cp38 win32.whl 3 到這裡在使用pip install scrapy一般都可以成功了 pip install scrapy4 如果第3步任然失敗,可以將scrap依賴的庫lxml pyopenssl pywin32先分...