scrapy爬蟲框架學習之路 3 25

上回我們說到，如何使用python的requests請求庫爬取豆瓣高分電影榜，本次就說一說如何使用scrapy這個python爬蟲框架去實現爬蟲功能。

首先，使用scrapy的框架需要經歷一下步驟：

建立工程專案

scrapy的工程建立在命令列中完成的。首先在命令列中輸入，就可以建立乙個名字叫做cnblogspider專案。

建立好專案後，我們的專案檔案結構如下：

cnblogspidr/

crapy.cfg
cnblogspidr/
__init__.py
items.py
middlewares.py    
pipelines.py
settings.py
spiders/
__init__.py

scrapy.cfg:專案部署檔案

cnblogspider/：該項目的python模組，之後可以再次加入**。
cnblogspider/items.py：專案中的item檔案。
cnblogspider/popelines.py：專案中的pipelines檔案
cnblogspider/setting.py:專案配置檔案。
cnblogspider/spider/：放置spider**的目錄。

import scrapy

import json
import sys
from cnblogspider import items
class dbspider(scrapy.spider):
name="dbspider"

#       allowed_domains=["douban.com"]

#       start_urls=[""]

def start_requests(self):

header=
url=""
return [scrapy.request(url,callback=self.parse)]
def parse(self,response):
pass

class dbspider(scrapy.spider):#繼承spider類

name：是專案的名字，必須唯一。

parse()方法：用於處理在請求start_url後，之後的方法，這個方法是獲取每個初始url響應後返回的respone物件，將作為唯一引數傳給該方法。對網頁的解析，與提取（生成item）以及生成需要進一步處理的url的request物件。
start_request:該方法返回乙個可迭代物件，該物件包好了spider用於爬取的第乙個request。

import scrapy

class cnblogsspider(scrapy.spider):
name='cnblogs'#爬蟲的名稱
allowed_domains=['cnblogs.com']#允許的網域名稱
start_urls=['']
​    def parse(self,reponse):
#實現網頁的解析
pass

def start_requests(self):

header=
url=""
return [scrapy.request(url,headers=header,callback=self.parse)]

現在需要的做的事是編寫item。這在檔案目錄的cnblogspider下的items.py檔案。這個檔案的作用是建立用於儲存資料的字段。

import scrapy

class cnblogspideritem(scrapy.item):
movie_url=scrapy.field()
title=scrapy.field()
rate=scrapy.field()

建立好item後，就可以在cnblog_spider.py中呼叫了，接下來編寫parse()，用於解析資料和儲存資料。需要注意的是，items.pycnblog_spider.py的上層目錄，如果想要呼叫它，就得新增路徑如下：

import scrapy

import json
import sys
from cnblogspider import items
def parse(self,response):
j=json.loads(response.body)['subjects']
for i in j:
title=i['title']
rate=i['rate']
movie_url=i['url']
item=items.cnblogspideritem(title=title,movie_url=movie_url,rate=rate)
yield item

item=items.cnblogspideritem(title=title,movie_url=movie_url,rate=rate)

import json

from scrapy.exceptions import dropitem#用於測試異常
​class cnblogspiderpipeline(object):
def __init__(self):
self.file=open('douban.json','w')
def process_item(self, item, spider):
if item['title']:
line=json.dumps(dict(item))
self.file.write(line)
return item
else:
raise dropitem('missing title in %s'% item)
return item

item_pipelines =

scrapy crawl dbspider

之前使用的ua是硬編碼進去的，如何建立乙個ua池，並在request時隨機的從這個ua池挑選乙個user-agent呢？請聽下次分解。

Scrapy框架爬蟲學習 3

繼上一節課爬取到了資料之後，這一節將資料入庫。因為python自帶了sqlite seklait 資料庫，直接用就可以。1.新建 sqlite 資料庫 在pycharm下進入terml，然後進入ipython模式，之後 import sqlite3 zufang sqlite3.connect zu...

Scrapy爬蟲框架學習

目錄 五大模組 spider itempipeline schedule engine 四個配置引數 三個物件 常用屬性 常用方法 response 常用屬性 常用方法 item 兩類中介軟體 middleware spidermiddleware 解析html，產生爬取請求和資料 流水線處理資料，...

爬蟲scrapy框架學習（三）

3.示例2redisspider a.使用方法 它與示例1只有乙個地方不同，就是將start url存入redis中，如下 b.總結 該示例很簡單，只是將start url存入redis key中，就可實現分布式爬蟲，多台電腦共同完成乙個爬蟲，資料不會重複 4.示例3rediscrawlspider...