爬取資料存入mysql

import pymysql

# mysql_coon 主要的功能就是, 將鏈結資料庫的操作變成只連線一次
# 需要先建立py1011資料庫，並建立列表xueqiu_test用來儲存資料
class
mysql_conn
(object):
# 魔術方法, 初始化, 建構函式
def__init__
(self):
self.db = pymysql.connect(host='127.0.0.1', user='root', password='123456', port=3306, database='py1011')
self.cursor = self.db.cursor()
# 執行modify(修改)相關的操作
defexecute_modify_mysql
(self, sql):
self.cursor.execute(sql)
self.db.commit()
# 魔術方法, 析構化 ,析構函式
def__del__
(self):
self.cursor.close()
self.db.close()
if __name__=='__main__':
sql = 'insert into xueqiu_test values (1)'
mc = mysql_conn()
mc.execute_modify_mysql(sql)

python爬取的小說存入mysql資料庫

特別需要注意的是需要存的 的編碼格式一定要與庫的編碼格式相同。其實還是相當於有乙個類似模板的內容 import mysqldb conn mysqldb.connect host 127.0.0.1 db msl user root passwd zgy1314 charset utf 8 cur ...

Scrapy爬取資料存入Mongodb中

這次使用scrapy簡單的爬取一些多列表電影資料，儲存在csv檔案及json檔案中，最後把這些資料全部儲存在mongodb中。涉及的知識點有pipeline，yield，中介軟體，xpath，items 的使用。coding utf 8 import scrapy from douban.items...

爬取貓眼電影存入mongodb

from urllib import request import time import re import pymongo class maoyanspider object def init self self.baseurl self.headers 爬取頁數計數 self.page 1 s...