在學習爬蟲時,遇到需要儲存資料的情況,雖然可以直接儲存到本地,但是遇到大量資料,就比較麻煩,所以我學習了mongodb的使用,mongodb是一種非關係型資料庫,資料以鍵值存貯,類似於json格式。
注意:安裝目錄不得有空格
將目錄放入環境變數
在安裝目錄下的data目錄中建立db資料夾
在cmd中輸入 mongod --dbpath db檔案位置然後新開乙個cmd執行 mongo
即可執行
##資料檔案
dbpath=d:\mongondb\data
##日誌檔案
logpath=d:\mongondb\log\mongodb.log
##錯誤日誌採用追加模式,配置這個選項後mongodb的日誌會追加到現有的日誌檔案,而不是從新建立乙個新檔案
#啟用日誌檔案,預設啟用
journal=true
#這個選項可以過濾掉一些無用的日誌資訊,若需要除錯使用請設定為false
quiet=true
#埠號 預設為27017
可以參考
from pymongo import mongoclient
import csv
settings =
class mymongodb(object):
def __init__(self):
try:
self.conn = mongoclient(settings["ip"], settings["port"])
except exception as e:
print(e)
self.db = self.conn[settings["db_name"]]
self.my_set = self.db[settings["set_name"]]
#插入def insert(self,dic):
self.my_set.insert(dic)
print("插入成功")
#更新def update(self,dic,newdic):
self.my_set.update(dic,newdic)
print("更新成功")
#刪除def delete(self,dic):
self.my_set.remove(dic)
print("刪除成功")
#查詢def dbfind(self,dic):
data = self.my_set.find(dic)
for result in data:
print(result)
print("查詢成功")
#查詢全部
def findall(self):
# 查詢全部
for i in self.my_set.find():
print(i)
if __name__ == "__main__":
dic =
dic1 =
mongo = mymongodb()
mongo.insert(dic)
mongo.insert(dic1)
mongo.findall()
mongo.update(, })
mongo.dbfind()
# mongo.delete()
# mongo.delete()
mongo.findall()
# 將資料寫入到csv檔案中
with open(f"test.csv", "w", newline='') as csvfilewriter:
writer = csv.writer(csvfilewriter)
# 先寫列名
# 寫第一行,欄位名
fieldlist = [
"_id",
"name",
"age",
"gender",
]writer.writerow(fieldlist)
allrecordres = mongo.my_set.find()
# 寫入多行資料
for record in allrecordres:
print(f"record = ")
recordvaluelst =
for field in fieldlist:
if field not in record:
else:
try:
writer.writerow(recordvaluelst)
except exception as e:
print(f"write csv exception. e = ")
MongoDB安裝與配置
mongodb版本 3.4 有安裝版和解壓版提供選擇,安裝後目錄結構相同,如下 將bin目錄配置到系統變數path中 編寫mongodb的配置檔案 mongodb.config 檔案內容 存放資料庫檔案的位址 dbpath d devsoft mongodb db 存放日誌檔案的位址 logpath...
Mongodb安裝與配置
這是摘自維基百科對mongodb的介紹 mongodb是一種檔案導向資料庫管理系統,由c 撰寫而成,以此來解決應用程式開發社群中的大量現實問題。2007年10月,mongodb由10gen團隊所發展。2009年2月首度推出。2010年,隨著網際網路web2.0 的興起,nosql在國內掀起一陣熱潮,...
MongoDB安裝與配置
step1 準備好 mongodb linux x86 64 rhel62 3.4.3.tgz 檔案 step2 解壓到指定目錄 root bigdata124 software tar zxvf mongodb linux x86 64 rhel62 3.4.3.tgz c software st...