scrapy爬蟲結果插入mysql資料庫

1.通過工具建立資料庫scrapy

2.在scrapy資料庫中建立douban表

mysql> create table scrapy.douban(id int primary key auto_increment, name varchar(100) not null, author varchar(50) null, press varchar(100

) null, dat
e varchar(
30) null, page varchar(30) null, price varchar(30) null, score varchar(30) null, isbn varchar(30) null, author_profile varchar(1500
) null, c
ontent_description varchar(
1500) null, link varchar(255) null )default charset=utf8;

3.在scrapy爬蟲**中設定指向資料庫的引數pipeline.py

# 編碼的轉換

for k in

item:

item[k] = item[k].encode("

utf8")

line = json.dumps(dict(item), ensure_ascii=false) + "\n"

self.file.write(line)

return

item

class mysqlpipeline(object

): def __init__(self):

self.dbpool = adbapi.connectionpool("

mysqldb",

db = "scrapy"

, # 資料庫名

user = "

root

", # 資料庫使用者名稱

passwd = "

qmf123456

", # 密碼

cursorclass =mysqldb.cursors.dictcursor,

charset = "

utf8",

use_unicode =false

)def process_item(self, item, spider):

query =self.dbpool.runinteraction(self._conditional_insert, item)

query.adderrback(self.handle_error)

return

item

def _conditional_insert(self, tb, item):

tb.execute(

"insert intodouban(name, author, press, date, page, price, score, isbn, author_profile,\

content_description, link) values (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)"

,\ (item["

name

"], item["

author

"], item["

press

"], item["

date

"],\

item[

"page

"], item["

price

"], item["

score

"], item["

isbn

"],\

item[

"author_profile

"], item["

content_description

"], item["

link

"]))

log.msg(

"item data in db: %s

" % item, level=log.debug)

def handle_error(self, e):

log.err(e)

在setting.py檔案中設定

4.安裝mysqldb驅動

mysql-python-1.2.3.win-amd64-py2.7.exe

檢視驅動是否安裝成功：

5.通過python 的mysqldb查詢資料庫資訊

import mysqldb

conn=mysqldb.connect(host="
127.0.0.1
",user="
root
",passwd="
qmf123456
",db="
scrapy")
cursor =conn.cursor()
n = cursor.execute("
select count(*) from douban")
for row in
cursor.fetchall():
for r in
row:
print r

Scrapy爬蟲框架 二 匯出爬取結果

功能描述 爬取 豆瓣 電影 top 250,爬取內容 電影標題，評分人數，評分 編輯 items.py 檔案 coding utf 8 import scrapy class doubanmovieitem scrapy.item 排名 ranking scrapy.field 電影名稱 title...

scrapy爬蟲框架

作者經過幾周的python爬蟲實踐之後，深入學習了一下scrapy這個爬蟲框架，現將一些基本知識和 總結整理一下，以備後查。2.scrapy的命令列使用 這部分網上很多部落格都有總結，不需要背，理解會用主要的命令 startproject crawl fetch list genspider.即可，...

scrapy 爬蟲框架

1.安裝 公升級pip版本 pip install upgrade pip 通過pip安裝scrapy框架 pip install scrapy 安裝成功 只執行scrapy 進行測試是否安裝成功 2.scrapy startproject 爬蟲專案名稱 執行此命令,可以生成乙個爬蟲專案 會預先生成...