如何訪問redis中的海量資料

前言事故產生

分析原因

解決方案

總結有時候我們需要知道線上的redis的使用情況，尤其需要知道一些字首的key值，那我們怎麼去檢視呢？

因為我們的使用者token快取是採用了【user_token:userid】格式的key，儲存使用者的token的值。

我們運維為了幫助開發小夥伴們查一下線上現在有多少登入使用者，直接用了keys user_token*方式進行查詢。

事故就此發生了。導致redis不可用，假死。

我們線上的登入使用者有幾百萬，資料量比較多；keys演算法是遍歷演算法，複雜度是o(n)，也就是資料越多，時間複雜度越高。

資料量達到幾百萬，keys這個指令就會導致 redis 服務卡頓

因為 redis 是單執行緒程式，順序執行所有指令，其它指令必須等到當前的 keys 指令執行完了才可以繼續。

那我們如何去遍歷大資料量呢？

這個也是面試經常問的。我們可以採用redis的另乙個命令scan。我們看一下scan的特點

1、複雜度雖然也是 o(n)，但是它是通過游標分步進行的，不會阻塞執行緒

2、提供 count 引數，不是結果數量，是redis單次遍歷字典槽位數量(約等於)

3、同 keys 一樣，它也提供模式匹配功能;

4、伺服器不需要為游標儲存狀態，游標的唯一狀態就是 scan 返回給客戶端的游標整數;

5、返回的結果可能會有重複，需要客戶端去重複，這點非常重要;

6、單次返回的結果是空的並不意味著遍歷結束，而要看返回的游標值是否為零

二、命令解釋：scan 游標 match 《返回和給定模式相匹配的元素》 count 每次迭代所返回的元素數量

scan命令是增量的迴圈，每次呼叫只會返回一小部分的元素。所以不會讓redis假死

scan命令返回的是乙個游標，從0開始遍歷，到0結束遍歷

1) "6"

2) 1) "user_token:1000"

2) "user_token:1001"

3) "user_token:1010"

4) "user_token:2300"

5) "user_token:1389"

從0開始遍歷，返回了游標6，又返回了資料，繼續scan遍歷，就要從6開始

1) "10"

2) 1) "user_token:3100"

2) "user_token:1201"

3) "user_token:1410"

4) "user_token:5300"

5) "user_token:3389"

redis 之如何訪問海量資料。

如何訪問redis中海量資料，服務不會受影響？我們知道使用keys可以找出想要的結果，但是redis有乙個很關鍵的特性 單執行緒。keys演算法是遍歷演算法，複雜度是0 n 資料越多時間越高。keys指令會順序執行，這將導致執行緒阻塞一段時間，直到執行完畢。想象一下如果一次找出幾百萬以上的資料，執行...

面試高頻 如何訪問 Redis 中的海量資料？

有時候我們需要知道線上的redis的使用情況，尤其需要知道一些字首的key值，那我們怎麼去檢視呢？因為我們的使用者token快取是採用了 user token userid 格式的key，儲存使用者的token的值。我們運維為了幫助開發小夥伴們查一下線上現在有多少登入使用者，直接用了keys use...

如何訪問redis中的海量資料？避免事故產生

前言事故產生 分析原因 解決方案 總結 有時候我們需要知道線上的redis的使用情況，尤其需要知道一些字首的key值，讓我們怎麼去檢視呢？今天老顧分享乙個小知識點 因為我們的使用者token快取是採用了 user token userid 格式的key，儲存使用者的token的值。我們運維為了幫助開...