python CrawlSpider爬取名人名言

2021-10-11 22:44:22 字數 1317 閱讀 2280

import scrapy

from scrapy.spiders import crawlspider,rule

from scrapy.linkextractors import linkextractor

class

quotes

(crawlspider)

: name =

'quote'

allowed_domains =

['quotes.toscrape.com'

] start_urls =

['']# 設定規則

rules =

(# 對於quotes內容頁url,呼叫parse_quotes處理

# 並以此規則跟進獲取的鏈結

rule(linkextractor(allow=

'/page/\d+'

), callback=

'parse_quotes'

,follow=

true),

# 對於author內容頁url,呼叫parse_author處理,提取資料

rule(linkextractor(allow=

'/author/\w+'

), callback=

'parse_author'))

# 提取內容頁資料方法

defparse_quotes

(self,response)

:for quote in response.css(

'.quote'):

yield

# 獲取作者資料方法

defparse_author

(self,response)

: name = response.css(

'.author-title::text'

).extract_first(

) author_born_date = response.css(

'.author_born_date::text'

).extract_first(

) author_born_location = response.css(

'.author_born_location::text'

).extract_first(

) author_description = response.css(

'.author_description::text'

).extract_first(

)return

()

外刊IT名人 名言

unix很簡單。但需要有一定天賦的人才能理解這種簡單。dennis ritchie 軟體在能夠復用前必須先能用。ralph johnson 優秀的判斷力來自經驗,但經驗來自於錯誤的判斷。fred brooks 理論 是你知道是這樣,但它卻不好用。實踐 是它很好用,但你不知道是為什麼。程式設計師將理論...

名人名言名句

在人生中取得成功,與其說靠天才與機會,不如說靠專注與毅力。c.w.wendte 物來順應 事情來了,就去順應和面對 未來不迎 還沒發生的事情,不要過分的擔憂 當時不雜 專注做好當下的事情 既過不戀 已經過去的事情,就沒有必要再去留戀。極度認真的工作能夠扭轉你的人生。當你在人生當中覺得最絕望 最無助的...

IT名人名言語錄

1 4 我不是數字英雄,我只是乙個普通人。網易丁磊 我對丁磊了解得不多,只知道他是被保送到成都電子科技大學,學成後南下創業,建成網易的。丁磊可以毫不費力成為乙個土生土長的it偶像,受人崇敬,可是他對自己有清醒的認識,非常低調,既能有足夠的自我保護意識,也保持了乙個普通人的普通本色。可惜人無完人,丁磊...