存入MySQL的相關操作與配置

#匯入settings檔案中的配置

from scrapy.utils.project import get_project_settings
class mymysqlpipeline(object):
def open_spider(self, spider):
# 連線資料庫，需要在settings.py 檔案中配置
settings = get_project_settings()
host = settings['db_host']
port = settings['db_port']
user = settings['db_user']
password = settings['db_password']
dbname = settings['db_name']
dbcharset = settings['db_charset']
self.conn = pymysql.connect(host=host, port=port, user=user, password=password, db=dbname, charset=dbcharset)
self.conn = pymysql.connect(host=host, port=port, user=user, password=password, db=dbname, charset=dbcharset)
def process_item(self, item, spider):
# 寫入資料庫中
sql = 'insert into movies(movie_poster, movie_name, movie_score, movie_type, movie_director, movie_screenwriter, movie_actor, movie_time, movie_content) values("%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s")'% (
item['movie_poster'], item['movie_name'], item['movie_score'], item['movie_type'], item['movie_director'], item['movie_screenwriter'], item['movie_actor'],
item['movie_time'], item['movie_content'])
# 執行sql語句
self.cursor = self.conn.cursor()
try:
#建立游標
self.cursor.execute(sql)
#提交操作
self.conn.commit()
except exception as e:
print(e)
self.conn.rollback()
return item
def close_spider(self, spider):
self.cursor.close()
self.conn.close()
注意：另外需要在資料庫中定義資料結構，應為mysql不會自己建立
在settings.py 中任意位置配置mysql
啟用使用
也可以在爬蟲檔案中自定義
				
mysql 的相關操作 mysql 相關操作
mysql u root p 回撤後輸入密碼 123456，進入mysql 資料庫簡單操作 1 建立資料庫 create database 資料庫名稱 2 檢視資料庫 show databases 3 刪除資料庫 drop database 資料庫名稱 4 開啟資料庫 use 資料庫名稱 資料表簡單...
				
mysql相關操作 mysql 相關操作
1 登入 mysql u root p 2 檢視當前有的資料庫 show databases 3 建立資料庫 create database 資料庫名 4 操作 使用 資料庫 use 資料庫名 5 檢視有哪些表 show tables 6 建立表 create table 表名 7 刪除表 drop...
				
mysql 的相關操作 MySQL相關操作知識
1 解決客戶端聯不上mysql伺服器的問題 grant all privileges on to root identified by with grant option flush privileges 2 登陸mysql mysql u root p 123456 3 檢視所有資料庫 show ...