前言事故產生
分析原因
解決方案
總結
有時候我們需要知道線上的redis的使用情況,尤其需要知道一些字首的key值,讓我們怎麼去檢視呢?今天老顧分享乙個小知識點
因為我們的使用者token快取是採用了【user_token:userid】格式的key,儲存使用者的token的值。我們運維為了幫助開發小夥伴們查一下線上現在有多少登入使用者。
直接用了keys user_token*方式進行查詢,事故就此發生了。導致redis不可用,假死。
我們線上的登入使用者有幾百萬,資料量比較多;keys演算法是遍歷演算法,複雜度是o(n),也就是資料越多,時間複雜度越高。
資料量達到幾百萬,keys這個指令就會導致 redis 服務卡頓,因為redis 是單執行緒程式,順序執行所有指令,其它指令必須等到當前的 keys 指令執行完了才可以繼續。
那我們如何去遍歷大資料量呢?這個也是面試經常問的。我們可以採用redis的另乙個命令scan。我們看一下scan的特點
1、複雜度雖然也是 o(n),但是它是通過游標分步進行的,不會阻塞執行緒一、scan命令格式2、提供 count 引數,不是結果數量,是redis單次遍歷字典槽位數量(約等於)
3、同 keys 一樣,它也提供模式匹配功能;
4、伺服器不需要為游標儲存狀態,游標的唯一狀態就是scan 返回給客戶端的游標整數;
5、返回的結果可能會有重複,需要客戶端去重複,這點非常重要;
6、單次返回的結果是空的並不意味著遍歷結束,而要看返回的游標值是否為零
scan cursor [match pattern] [count count]二、命令解釋:scan 游標 match 《返回和給定模式相匹配的元素》 count 每次迭代所返回的元素數量
scan命令是增量的迴圈,每次呼叫只會返回一小部分的元素。所以不會讓redis假死三、舉例scan命令返回的是乙個游標,從0開始遍歷,到0結束遍歷
redis > scan 0 match user_token* count 5從0開始遍歷,返回了游標6,又返回了資料,繼續scan遍歷,就要從6開始1) "6"
2) 1) "user_token:1000"
2) "user_token:1001"
3) "user_token:1010"
4) "user_token:2300"
5) "user_token:1389"
redis > scan 6 match user_token* count 5這個是面試經常會問到的,也是我們小夥伴在工作的過程經常用的,一般小公司,不會有什麼問題,但資料量多的時候,你的操作方式不對,你的績效就會被扣哦,哈哈。謝謝!!!1) "10"
2) 1) "user_token:3100"
2) "user_token:1201"
3) "user_token:1410"
4) "user_token:5300"
5) "user_token:3389"
如有收穫,請幫忙**,您的鼓勵是作者最大的動力,謝謝!
10幾年的經驗實戰分享
精品原創技術分享,知識的組裝工
推薦閱讀1、如何解決redis熱點問題?以及如何發現熱點?
2、如何設計api介面,實現統一格式返回?
3、你真的知道在生產環境下如何部署tomcat嗎?
4、分享一線網際網路大廠分布式唯一id設計 之 snowflake方案
5、分享大廠分布式唯一id設計方案,快來圍觀
7、你知道如何處理大資料量嗎?(資料拆分篇)
8、如何永不遷移資料和避免熱點? 根據伺服器指標分配資料量(揭秘篇)
9、你知道怎麼分庫分表嗎?如何做到永不遷移資料和避免熱點嗎?
10、你了解大型**的頁面靜態化嗎?
11、你知道如何更新快取嗎?如何保證快取和資料庫雙寫一致性?
12、你知道怎麼解決db讀寫分離,導致資料不一致問題嗎?
13、db讀寫分離情況下,如何解決快取和資料庫不一致性問題?
14、你真的知道怎麼使用快取嗎?
15、如何利用鎖,防止快取擊穿?重構思想的重要性
16、海量訂單產生的業務高峰期,如何避免訊息的重複消費?
17、你知道如何保障生產端100%訊息投遞成功嗎?
如何訪問redis中的海量資料
前言事故產生 分析原因 解決方案 總結有時候我們需要知道線上的redis的使用情況,尤其需要知道一些字首的key值,那我們怎麼去檢視呢?因為我們的使用者token快取是採用了 user token userid 格式的key,儲存使用者的token的值。我們運維為了幫助開發小夥伴們查一下線上現在有多...
redis 之如何訪問海量資料。
如何訪問redis中海量資料,服務不會受影響?我們知道使用keys可以找出想要的結果,但是redis有乙個很關鍵的特性 單執行緒。keys演算法是遍歷演算法,複雜度是0 n 資料越多時間越高。keys指令會順序執行,這將導致執行緒阻塞一段時間,直到執行完畢。想象一下如果一次找出幾百萬以上的資料,執行...
面試高頻 如何訪問 Redis 中的海量資料?
有時候我們需要知道線上的redis的使用情況,尤其需要知道一些字首的key值,那我們怎麼去檢視呢?因為我們的使用者token快取是採用了 user token userid 格式的key,儲存使用者的token的值。我們運維為了幫助開發小夥伴們查一下線上現在有多少登入使用者,直接用了keys use...