scrapy簡單爬取內容

scrapy的簡單爬取不用新建專案。安裝好scrapy後編寫爬蟲檔案

import scrapy

class zaobaoscrapy(scrapy.spider):
name = "zaobao"
start_urls = [""]
def parse(self, response):
for href in response.css(".l_title .title a::attr(href)"):
full_url = response.urljoin(href.extract())
yield scrapy.request(full_url,callback=self.parse_news)
def parse_news(self, response):
yield

執行scrapy runspider zaobao_scrapy.py -o mm.json  就會生成json檔案

scrapy一些優點

scrapy 爬取流程

什麼時候到pipeline，什麼 時候到spider這個就不說了，這個是框架跳轉到的流程 關鍵是訪問之前要登入怎麼辦，資料還要注入呢 這是個列表，裡面就是爬取的鏈結了 我們前面爬取就只是寫了乙個，但是其實可以寫多個 鏈結又是怎麼訪問的呢 這東西你就可以手動提取鏈結返回了 這東西你就得好好注意了 從入...

scrapy 爬取小說

速度是相當的快的 爬取整站的 最後結果儲存至mongodb資料庫 pycharm開發還是很好用的 建立專案 scrapy startproject daomubiji 執行專案 scrapy crawl daomubi settings default request headers items t...

scrapy爬取噹噹

import scrapy from items import dangdangitem class ddspider scrapy.spider name dd allowed domains dangdang.com start urls def parse self,response 使用xp...