手裡頭有乙份上海市2023年9月1日公共運輸卡刷卡資料
想做一下上海市通勤資料探勘，由於原始檔有800多兆，用python讀取起來很慢很卡，於是想匯入資料庫mysql裡面處理，以前一般是開啟workbench視覺化操作匯入資料庫，這次想換成**實現，於是琢磨著如何把這個csv檔案用python導進去。
一般的，python把資料框寫入資料庫有兩種方法
今天主要研究第二種方法
import pandas as pd #匯入資料分析模組
import pymysql #匯入資料庫介面模組
from sqlalchemy import create_engine
data=pd.read_csv(r"d:\資料\yikatongchengkeshuakashuju\201608\sptcc20160901.csv"
,engine=
'python'
,header=
none
)#讀取資料encoding='mbcs',
data.columns=
["卡號"
,"日期"
,"時間"
,"站點"
,"交通方式"
,"費用"
,"是否有優惠"
]#由於原csv檔案沒有表頭，這裡新增表頭
#print(data.head()) #測試
db=pymysql.connect(
"localhost"
,"root"
,"123456"
,"metro_sh"
,charset=
"utf8"
)#鏈結資料庫metro_sh
cursor=db.cursor(
)#獲取游標
cursor.execute(
"drop table if exists metro_sh_20160901"
)#以重新寫入的方式匯入資料表
該方法整體性好，記憶體消耗大，如果記憶體大可以一試。
python使用pymysql把資料寫入mysql
簡單粗暴直接上 import pymysql import requests from lxml import etree def connect 連線本地資料庫 db pymysql.connect host localhost user root password bbqbbq database...
通過python讀取excel寫入mysql
import pymysql import xlrd import sys from xlrd import xldate as datetime excel檔案的路徑 excel path sys.ar 1 host sys.ar 2 user sys.ar 3 password sys.ar 4...
python 寫入資料
呼叫 open 時提供了兩個實參第乙個實參也是要開啟的檔案的名稱 第二個實參 w 告訴 python 我們要以 寫入模式 開啟這個檔案。開啟檔案時，可指定 讀取模式 r 寫入模式 w 附加模式 a 或讓你能夠讀取和寫入檔案的模式 r 如果你省略了模式實參，python 將以預設的唯讀模式開啟檔案。如...