Python爬蟲之四倉庫(資料庫)

2021-10-16 22:15:00 字數 3047 閱讀 2198

第三方庫名:sqlite3

import sqlite3

#建立資料庫連線物件

conn = sqlite3.connect(

"my_data.db"

)#建立資料庫操控物件

control = conn.cursor(

)#查詢

#返回可迭代物件

info = control.execute(

"select * from novel"

)data =

[i for i in info]

##增加

##返回操控物件,插入值需要注意,字串要用單引號括起來

control.execute(

"insert into novel(id,name,author) values('{}','{}','{}')"

.format

("1"

,"虛之神"

,"小書"))

conn.commit(

)##刪除

##返回操控物件,刪除值需要注意,字串要用單引號括起來

control.execute(

"delete from novel where name = '{}'"

.format

("虛之神"))

conn.commit(

)#修改

#返回操控物件,修改值需要注意,字串要用單引號括起來

control.execute(

"update novel set author = '{}' where name = '{}'"

.format

("小塵"

,"虛之神"))

conn.commit(

)#關閉資料庫

conn.close(

)

第三方庫名:pymysql

import pymysql

#建立資料庫連線物件

conn = pymysql.connect(host =

"localhost"

,user =

"root"

,passwd =

"root"

,database =

"data"

,port =

3306

)#建立資料庫操控物件

control = conn.cursor(

)#查詢

#返回查詢條數,若取值則需要使用fetchall(拿來)方法取值,可迭代物件(元組)

info = control.execute(

"select * from novel"

)data =

[i for i in control.fetchall()]

#增加#返回插入條數,插入值需要注意,字串要用單引號括起來

info = control.execute(

"insert into novel(name,author,type) values('{}','{}','{}')"

.format

("虛之神"

,"趙小虛"

,"玄幻"))

conn.commit(

)#刪除

#返回刪除條數,刪除值需要注意,字串要用單引號括起來

info = control.execute(

"delete from novel where name = '{}'"

.format

("虛之神"))

conn.commit(

)#修改

#返回修改條數,修改值需要注意,字串要用單引號括起來

info = control.execute(

"update novel set type = '{}' where id = '{}'"

.format

("仙俠"

,541))

conn.commit(

)#關閉資料庫

conn.close(

)

第三方庫名:pymongo

import pymongo

#建立mongo連線物件

conn = pymongo.mongoclient(host =

"localhost"

,port =

27017

)#獲取mongo連線物件裡面的資料庫

database = conn[

"test"

]#獲取資料庫裡面的集合

collection = database[

"infos"

]#查詢

#返回乙個可迭代物件,info為查詢的全部資料

result = collection.find(

)info =

[i for i in result]

#增加#返回result物件,insert_one意思是插入一條資料

result = collection.insert_one(

)#修改

#返回result物件,update_many意思是更新多條資料

result = collection.update_many(,}

)#刪除

#返回result物件,delete_many意思是刪除條資料

result = collection.delete_many(

)#關閉資料庫

conn.close(

)

第三方庫名:redis

import redis

#建立資料庫連線物件

conn = redis.strictredis(host =

"localhost"

,db =

0,port =

6379

)#增加資料

conn.rpush(

"novel"

,"a"

)#關閉資料庫

conn.connection_pool.disconnect(

)

python 資料庫 爬蟲

python3 和 pip3 安裝 安裝 selenium 配置驅動的環境變數,或者將驅動放到已經配置好的資料夾中,類似 window 的 cmd的目錄 window c windows system32 linux usr bin usr local bin 安裝 pyquery 安裝pymysq...

python 網路爬蟲 與資料庫

這是乙個簡單的爬取豆瓣電影top250的 爬去了每一條電影的18個維度的資料,並且將他們儲存在本地的mysql資料庫中.詳細 如下.requests 請求網頁,獲取網頁資料 lxml 使用xpath語法快速解析網頁資料 coding utf 8 created on tue jan 22 20 55...

資料庫之MySQL(四)

例如 userinfo 山東省煙台市 1318162008 依照第一正規化必須拆分成 userinfo 山東省煙台市 usertel 1318162008 兩個字段例如 訂單表只能描述訂單相關的資訊,所以所有的字段都必須與訂單id相關。產品表只能描述產品相關的資訊,所以所有的字段都必須與產品id相關...