Python分布式redis資料處理

資料處理後儲存在mongodb中

#!/usr/bin/env python

# -*- coding:utf-8 -*-
import redis
import pymongo
import json
def process_item():
# 建立redis資料庫連線
rediscli = redis.redis(host = "127.0.0.1", port = 6379, db = "0")
# 建立mongodb資料庫連線
mongocli = pymongo.mongoclient(host = "127.0.0.1", port = 27017)
# 建立mongodb資料庫名稱
dbname = mongocli["youyuan"]
# 建立mongodb資料庫youyuan的表名稱
sheetname = dbname["beijing_18_25_mm"]
offset = 0
while true:
# redis 資料表名 和 資料
source, data = rediscli.blpop("yy:items")
offset += 1
# 將json物件轉換為python物件
data = json.loads(data)
# 將資料插入到sheetname表裡
sheetname.insert(data)
print offset
if __name__ == "__main__":
process_item()

#!/usr/bin/env python

# -*- coding:utf-8 -*-
import redis
import mysqldb
import json
def process_item():
# 建立redis資料庫連線
rediscli = redis.redis(host = "127.0.0.1", port = 6379, db = 0)
# 建立mysql資料庫連線
mysqlcli = mysqldb.connect(host = "127.0.0.1", port = 3306, \
user = "power", passwd = "60055969", db = "youyuan")
offset = 0
while true:
# 將資料從redis裡pop出來
source, data = rediscli.blpop("yy:items")
item = json.loads(data)
try:
# 建立mysql 操作游標物件，可以執行mysql語句
cursor = mysqlcli.cursor()
cursor.execute("insert into beijing_18_25_mm (username, age, header_url, images_url, content, place_from, education, hobby, source_url, source, time, spidername) values (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)", [item['username'], item['age'], item['header_url'], item['images_url'], item['content'], item['place_from'], item['education'], item['hobby'], item['source_url'], item['sourec'], item['time'], item['spidername']])
# 提交事務
mysqlcli.commit()
# 關閉游標
cursor.close()
offset += 1
print offset
except:
pass
if __name__ == "__main__":
process_item()

redis分布式鎖

redis分布式鎖 直接上 我寫了四個redis分布式鎖的方法，大家可以提個意見 第一種方法 redis分布式鎖 param timeout public void lock long timeout thread.sleep 100 catch exception e override publi...

Redis分布式鎖

分布式鎖一般有三種實現方式 1.資料庫樂觀鎖 2.基於redis的分布式鎖 3.基於zookeeper的分布式鎖.首先，為了確保分布式鎖可用，我們至少要確保鎖的實現同時滿足以下四個條件 互斥性。在任意時刻，只有乙個客戶端能持有鎖。不會發生死鎖。即使有乙個客戶端在持有鎖的期間崩潰而沒有主動解鎖，也能保...

redis分布式鎖

使用redis的setnx命令實現分布式鎖 redis為單程序單執行緒模式，採用佇列模式將併發訪問變成序列訪問，且多個客戶端對redis的連線並不存在競爭關係。redis的setnx命令可以方便的實現分布式鎖。setnx key value 將key的值設為value，當且僅當key不存在。如給定的...