01、redis是什麼
redis是乙個開源的底層使用c語言編寫的key-value儲存資料庫。可用於快取、事件發布訂閱、高速佇列等場景。而且支援豐富的資料型別:string(字串)、hash(雜湊)、list(列表)、set(無序集合)、zset(sorted set:有序集合)。
redis在專案中的應用場景:
1、快取資料
最常用,對經常需要查詢且變動不是很頻繁的資料 常稱作熱點資料。
2、訊息佇列
相當於訊息訂閱系統,比如activemq、rocketmq。如果對資料有較高一致性要求時,還是建議使用mq。
3、計數器
比如統計點選率、點讚率,redis具有原子性,可以避免併發問題。
4、電商**資訊
大型電商平台初始化頁面資料的快取。比如去哪兒網購買機票的時候首頁的**和你點進去的**會有差異。
5、熱點資料
比如新聞**實時熱點、微博熱搜等,需要頻繁更新。總資料量比較大的時候直接從資料庫查詢會影響效能。
02、給個愛的理由
在單節點伺服器我們通常是這樣的。
隨著企業的發展、業務的擴充套件。面對海量的資料,直接使用mysql會導致效能下降,資料的讀寫也會非常慢。於是我們就可以搭配快取來處理海量資料。
於是現在我們是這樣的:
上圖只是簡述了快取的作用,當資料繼續增大我們需要利用主從複製技術來達到讀寫分離。
資料庫層直接與快取進行互動,如果快取中有資料直接返回客戶端,如果沒有才會從mysql中去查詢。從而減小了資料庫的壓力,提公升了效率。
平時發布了一款新手機,會有搶購活動。同一時間段,服務端會收到很多的下單請求。
我們需要使用redis的原子操作來實現這個「單執行緒」。首先我們把庫存存在乙個列表中,假設有10件庫存,就往列表中push10個數,這個數沒有實際意義,僅僅只是代表10件庫存。
搶購開始後,每到來乙個使用者,就從列表中pop乙個數,表示使用者搶購成功。當列表為空時,表示已經被搶光了。因為列表的pop操作是原子的,即使有很多使用者同時到達,也是依次執行的。
題外話:還有的搶購是直接在前端頁面限制請求,這些請求直接被前端攔截,並沒有到後端伺服器。
redis為什麼會這麼快?
1、redis是純記憶體操作,需要的時候需要我們手動持久化到硬碟中。
2、redis是單執行緒,從而避開了多執行緒中上下文頻繁切換的操作。
3、redis資料結構簡單、對資料的操作也比較簡單。
4、使用底層模型不同,它們之間底層實現方式以及與客戶端之間通訊的應用協議不一樣,redis直接自己構建了vm機制 ,因為一般的系統呼叫系統函式的話,會浪費一定的時間去移動和請求
5、使用多路i/o復用模型,非阻塞i/o。
多路i/o復用
i/o多路復用技術,是為了解決程序或執行緒阻塞到某個i/o系統呼叫而出現的技術,可以監視多個描述符,一旦某個描述符就緒(一般是讀就緒或者寫就緒,就是這個檔案描述符進行讀寫操作之前),能夠通知程式進行相應的讀寫操作。
03、redis資料型別應用場景
前面提到了redis支援五種豐富的資料型別,那麼在不同場景下我們該怎麼選擇呢?
string
字串是最常用的資料型別,他能夠儲存任何型別的字串,當然也包括二進位制、json化的物件、甚至是base64編碼之後的。在redis中乙個字串最大的容量為512mb,可以說是無所不能了。
hash
常用作儲存結構化資料、比如論壇系統中可以用來儲存使用者的id、暱稱、頭像、積分等資訊。如果需要修改其中的資訊,只需要通過key取出value進行反序列化修改某一項的值,再序列化儲存到redis中。
對於hash結構儲存,由於hash結構會在單個hash元素在不足一定數量時進行壓縮儲存,所以可以大量節約記憶體。這一點在string結構裡是不存在的。
list
list的實現為乙個雙向鍊錶,即可以支援反向查詢和遍歷,更方便操作,不過帶來了部分額外的記憶體開銷,redis內部的很多實現,包括傳送緩衝佇列等也都是用的這個資料結構。另外,可以利用lrange命令,做基於redis的分頁功能,效能極佳,使用者體驗好。
set
set對外提供的功能與list類似是乙個列表的功能,特殊之處在於set是可以自動排重的,當你需要儲存乙個列表資料,又不希望出現重複資料時,這個時候就可以選擇使用set。
sorted set
可以按照某個條件的權重進行排序,比如可以通過點選數做出排行榜的資料應用。
04、redis快取的資料一致性
真正意義上來講資料庫的資料和快取的資料是不可能一致的,資料分為最終一致和強一致兩類。如果業務中對資料的要求必須強一致那麼就不能使用快取。快取能做的只能保證資料的最終一致性。
我們能做的只能是盡可能地保證資料的一致性。不管是先刪庫再刪快取還是先刪快取再刪庫,都可能出現資料不一致的情況,因為讀和寫操作是併發的,我們沒辦法保證他們的先後順序。具體應對策略還是要根據業務需求來定,這裡就不贅述了。
05、redis的過期和記憶體淘汰
redis儲存資料時我們可以設定他的過期時間。但是這個key是怎麼刪除的呢?
一開始我認為是定時刪除,後來發現並不是這樣,因為如果定時刪除,需要乙個定時器來不斷地負責監控這個key,雖然記憶體釋放了,但是非常消耗cpu資源。
redis過期刪除採用的是定期刪除,預設是每100ms檢測一次,遇到過期的key則進行刪除,這裡的檢測並不是順序檢測,而是隨機檢測。
那這樣會不會有漏網之魚?顯然redis也考慮到了這一點,當我們去讀/寫乙個已經過期的key時,會觸發redis的惰性刪除策略,直接回乾掉過期的key。
記憶體淘汰是指使用者儲存的一部分key是可以被redis自動的刪除,從而會出現從快取中查不到資料的情況。加入我們的伺服器記憶體為2g、但是隨著業務的發展快取的資料已經超過2g了。
但是這並不影響我們程式的執行,因為作業系統的可見記憶體並不受物理記憶體的限制。物理記憶體不夠用沒關係,計算機會從硬碟中劃出一片空間來作為虛擬記憶體。這就是redis設計兩種應用場景的初衷:快取、持久儲存。
06、快取擊穿
快取只是為了緩解資料庫壓力而新增的一層保護層,當從快取中查詢不到我們需要的資料就要去資料庫中查詢了。如果被黑客利用,頻繁去訪問快取中沒有的資料,那麼快取就失去了存在的意義,瞬間所有請求的壓力都落在了資料庫上,這樣會導致資料庫連線異常。
解決方案:
1、後台設定定時任務,主動地去更新快取資料。這種方案容易理解,但是當key比較分散的時候,操作起來還是比較複雜的。
2、分級快取。比如設定兩層快取保護層,1級快取失效時間短,2級快取失效時間長。有請求過來優先從1級快取中去查詢,如果在1級快取中沒有找到相應資料,則對該執行緒進行加鎖,這個執行緒再從資料庫中取到資料,更新至1級和2級快取。其他執行緒則直接從2級執行緒中獲取。
3、提供乙個攔截機制,內部維護一系列合法的key值。當請求的key不合法時,直接返回。
07、快取雪崩
快取雪崩就是指快取由於某些原因(比如宕機、cache服務掛了或者不響應)整體crash掉了,導致大量請求到達後端資料庫,從而導致資料庫崩潰,整個系統崩潰、發生災難,也就是上面提到的快取擊穿。
**自網路
如何避免雪崩:
1、給快取加上一定區間內的隨機生效時間,不同的key設定不同的失效時間,避免同一時間集體失效。
2、和快取擊穿解決方案類似,做二級快取,原始快取失效時從拷貝快取中讀取資料。
3、利用加鎖或者佇列方式避免過多請求同時對伺服器進行讀寫操作。
08、寫在最後
redis的效能極高,讀的速度是110000次/s,寫的速度是81000次/s,支援事務,支援備份,豐富的資料型別。
任何事情都是兩面性,redis也是有缺點的:
2、當修改redis的資料之後需要將持久化到硬碟的資料重新加入到內容中,時間比較久,這個時候redis是無法正常執行的。
**
Python有那麼神嗎?
這個問題其實簡單點說 就是講 python 到底能做什麼?它的優點在哪?資料庫 python在資料庫方面很優秀,可以和多種資料庫進行連線,進行資料處理,從商業型的資料庫到開放原始碼的資料庫都提供支援。例如 oracle,my sql server等等。有多種介面可以與資料庫進行連線,至少包括odbc...
Redis為什麼單執行緒還那麼快?執行緒安全嗎?
redis是單執行緒,執行緒安全的 1 絕大部分請求是純粹的記憶體操作 非常快速 2 採用單執行緒,避免了不必要的上下文切換和競爭條件 3 非阻塞io io多路復用 io多路復用中有三種方式 select,poll,epoll。需要注意的是,select,poll是執行緒不安全的,epoll是執行緒...
Redis為什麼那麼快
前言redis是基於鍵值對的nosql資料庫,redis的value可以由string,hash,list,set,zset,bitmaps,hyperloglog等多種資料結構和演算法組成。redis還提供了鍵過期,發布訂閱,事務,lua指令碼,哨兵,cluster等功能。redis執行命令非常快...