爬蟲檔案寫入mysql中 爬蟲資料寫入Mysql

#coding=utf-8

import re

import requests

import pymysql

url=""

headers={

chrome/58.0.3029.110 safari/537.36 se 2.x metasr 1.0"

response=requests.get(url,headers=headers)

result=response.text

#編寫正規表示式：獲取名稱，獲取號碼

pattern1=r'

[\s\s]*?(.*?)[\s\s]*?[\s\s]*?[\s\s]*?'

pattern2=r'

[\s\s]*?[\s\s]*?[\s\s]*?(.*?)[\s\s]*?

多普達400-820-1668

解釋：[\s\s]*? 表示[空白，非空白]*?任意0個或多個且是非貪婪模式

因為從返回的響應結果中得知，tr標籤和td標籤之間存在空白字元和非空白字元

p1=re.compile(pattern1)

p2=re.compile(pattern2)

data1=p1.findall(result) #號碼名稱列表

data2=p2.findall(result) #號碼值列表

#定義資料庫連線物件

con=pymysql.connect(host='localhost',

user='root',

password='hdc@328216',

database='my_test2',

port=3306,

charset='utf8') #charset是為了防止中文寫入mysql亂碼

#定義連線游標

cur=con.cursor()

#清除表資料

sqldel='truncate table phone;'

cur.execute(sqldel)

con.commit()

#拼接名稱和號碼，組成新的列表

resultdata=

for i in range(0,len(data1)):

#插入表資料

sql='insert into phone (name,phone) values (%s,%s);'

cur.execute(sql,(data1[i],data2[i]))

print(resultdata)

con.commit()

cur.close()

con.close()

爬蟲寫入csv txt 等檔案

1 嵌有字典列表 csv 1.1def nestedlist2csv data,file path with open file path,w encoding utf 8 as f 寫入檔案，出現編碼問題，可以改變目標檔案的編碼方式 w csv.writer f w csv.dictwriter ...

CURL 爬蟲，抓取網頁並寫入檔案

例子1，簡單crul獲得網頁內容，01 在命令列cmd 02 cd d d wamp test 03 php f curl url.php curl curl init curl exec curl curl close curl 例子2，將請求處理存入檔案 curlobj curl init cu...

爬蟲資料寫入csv檔案亂碼問題

樓主也剛學習爬蟲沒多久，很多地方還沒摸透，最近從豆瓣上爬取一些資料，想寫入csv檔案時出現了一些小問題。首先，我用這行 寫入csv檔案時 出現了下面這種情況 實在百思不得解，後來經過大佬的指導，發現中文寫入要加上 encoding utf 8 於是我就用下面的 發現確實是能夠將資料寫進csv檔案，但...