python使用pipeline批量讀寫redis

2021-08-20 06:08:23 字數 1752 閱讀 7385

用了很久的redis了。隨著業務的要求越來越高。對redis的讀寫速度要求也越來越高。正好最近有個需求（需要在秒級取值1000+的資料），如果對於傳統的單詞取值，迴圈取值，消耗實在是大，有小夥伴可能考慮到多執行緒，但這並不是最好的解決方案，這裡考慮到了redis特有的功能pipeline管道功能。下面就更大家演示一下pipeline在python環境下的使用情況。

>>> 


import redis


>>> conn = redis.redis(host='192.168.8.176',port=6379)


>>> pipe = conn.pipeline()


>>> pipe.hset("hash_key","leizhu900516",8)


pipeline192.168


.8.176,port=6379,db=0>>>


>>> pipe.hset("hash_key","chenhuachao",9)


pipeline192.168


.8.176,port=6379,db=0>>>


>>> pipe.hset("hash_key","wanger",10)


pipeline192.168


.8.176,port=6379,db=0>>>


>>> pipe.execute()


[1l, 1l, 1l]


>>>
>>> pipe.hget("hash_key","leizhu900516")


pipeline192.168


.8.176,port=6379,db=0>>>


>>> pipe.hget("hash_key","chenhuachao")


pipeline192.168


.8.176,port=6379,db=0>>>


>>> pipe.hget("hash_key","wanger")


pipeline192.168


.8.176,port=6379,db=0>>>


>>> result = pipe.execute()


>>> 


print result


['8', '9', '10']   #有序的列表


>>>
總結：redis的pipeline就是這麼簡單，實際生產環境，根據需要去編寫相應的**。思路同理,如:

redis_db = redis.redis(host='127.0.0.1',port=6379)


data = ['zhangsan', 'lisi', 'wangwu']


with redis_db.pipeline(transaction=false) as pipe:


for i in data:


pipe.zscore(self.key, i)


result = pipe.execute()


print result


# [100, 80, 78]
線上的redis一般都是集群模式，集群模式下使用pipeline的時候，在建立pipeline的物件時，需要指定

pipe =conn.pipeline(transaction=false)
經過線上實測，利用pipeline取值3500條資料，大約需要900ms，如果配合執行緒or協程來使用，每秒返回1w資料是沒有問題的，基本能滿足大部分業務。

Kafka到Hdfs的資料Pipeline整理

找時間總結整理了下資料從kafka到hdfs的一些pipeline，如下 1 kafka flume hadoop hdfs 常用方案,基於配置,需要注意hdfs小檔案效能等問題.2 kafka kafka hadoop loader hadoop hdfs kafka hadoop loader通...

Kafka到Hdfs的資料Pipeline整理

找時間總結整理了下資料從kafka到hdfs的一些pipeline，如下 1 kafka flume hadoop hdfs 常用方案,基於配置,需要注意hdfs小檔案效能等問題.2 kafka kafka hadoop loader hadoop hdfs kafka hadoop loader通...

python元類的使用 python使用元類

原文 type 動態語言和靜態語言最大的不同，就是函式和類的定義，不是編譯時定義的，而是執行時動態建立的。比方說我們要定義乙個hello的class，就寫乙個hello.py模組 當python直譯器載入hello模組時，就會依次執行該模組的所有語句，執行結果就是動態建立出乙個hello的class...