使用pandas操作MySQL資料庫

sqlalchemy是python程式語言下的一款開源軟體。提供了sql工具包及物件關係對映（orm）工具，使用mit許可證發行

sqlalchemy模組提供了create_engine()函式用來初始化資料庫連線，sqlalchemy用乙個字串表示連線資訊：

我們需要以下三個庫來實現pandas讀寫mysql資料庫：

其中，pandas模組提供了read_sql_query（）函式實現了對資料庫的查詢，to_sql（）函式實現了對資料庫的寫入。並不需要實現新建mysql資料表。

sqlalchemy模組實現了與不同資料庫的連線，而pymysql模組則使得python能夠操作mysql資料庫。

我們將使用mysql資料庫中的mydb資料庫以及employee表，內容如下：

注意：下面將介紹乙個簡單的例子來展示如何在pandas中實現對mysql資料庫的讀寫：

import pandas as pd

from sqlalchemy import create_engine
# 初始化資料庫連線，使用pymysql模組
# mysql的使用者：root, 密碼:root密碼, host:39.96.45.1, 埠：3306,資料庫：weibo
engine=create_engine('mysql+pymysql://root:密碼@39.96.45.1:3306/weibo')
sql = ''' select * from yuqing_weibo_pinglun; '''
# read_sql_query的兩個引數: sql語句， 資料庫連線
df = pd.read_sql_query(sql, engine)
# 輸出employee表的查詢結果
print(df['text'].head())
# 新建pandas中的dataframe, 只有id,num兩列
df = pd.dataframe()
# 將新建的dataframe儲存為mysql中的資料表，儲存index列
df.to_sql('mydf', engine, index=true)#mydf表名，engine：存到相應的資料庫下面
print('read from and write to mysql table successfully!')

這說明我們確實將pandas中新建的dataframe寫入到了mysql中！

以上的例子實現了使用pandas庫實現mysql資料庫的讀寫，我們將再介紹乙個例項：將csv檔案寫入到mysql中，示例的example.csv檔案如下

示例的python**如下：

1 # -*- coding: utf-8 -*-

2  3 # 匯入必要模組
4 import pandas as pd
5 from sqlalchemy import create_engine
6  7 # 初始化資料庫連線，使用pymysql模組
8 db_info = 
14 15 engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info, encoding='utf-8')
16 # 直接使用下一種形式也可以
17 # engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
18 19 # 讀取本地csv檔案
20 df = pd.read_csv("c:/users/fuqia/desktop/example.csv", sep=',')
21 print(df)
22 # 將新建的dataframe儲存為mysql中的資料表，不儲存index列(index=false)
23 # if_exists:
24 # 1.fail:如果表存在，啥也不做
25 # 2.replace:如果表存在，刪了表，再建立乙個新錶，把資料插入
27 pd.io.sql.to_sql(df, 'example', con=engine, index=false, if_exists='replace')
28 # df.to_sql('example', con=engine,  if_exists='replace')這種形式也可以
29 print("write to mysql successfully!")

補充：engine.execute(sql)可以直接執行sql語句：

1 from sqlalchemy import create_engine

2 3 
4 engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
5 sql = "drop table if exists example"
6 engine.execute(sql)

1 import pymysql

2 from sqlalchemy import create_engine
3 4 conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
5 # engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
6 sql = "drop table if exists test_input"
7 cursor = conn.cursor()
8 cursor.execute(sql)

程式本身並不難，關鍵在於多多練習

pandas 操作mysql詳解

要實現 pandas 對 mysql 的讀寫需要三個庫 可能有的同學會問，單獨用 pymysql 或 sqlalchemy 來讀寫資料庫不香麼，為什麼要同時用三個庫？主要是使用場景不同，個人覺得就大資料處理而言，用 pandas 讀寫資料庫更加便捷。1 read sql query 讀取 mysql...

Pandas操作mysql資料庫

公司中有時候我們的需求是操作mysql資料庫中的資料，如果我們能用pandas直接操作mysql的話，就比較方便了 pandas讀取mysql資料庫 python 純文字檢視 複製 0102 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 匯入必要模組...

資料分析 pandas操作使用

一 使用指引 1.資料型別series 1.1構建 a.python列表直接構建 b.通過numpy的 ndarray構建 c.通過字典構建1.2索引 a.取單個資料 b.取連續的多個資料 c.取不連續多個資料 d.根據條件取值 布林索引 2.資料型別dataframe 2.1構建 a.巢狀的列表 ...