趙渝強老師 什麼是Redis Cluster

redis cluster是redis的分布式解決方案，在redis 3.0版本正式推出的，有效解決了redis分布式方面的需求。當遇到單機記憶體、併發、流量等瓶頸時，可以採用cluster架構達到負載均衡的目的。

我們日常在對於redis的使用中，經常會遇到一些問題：

（1）高可用問題，如何保證redis的持續高可用性。

（2）容量問題，單例項redis記憶體無法無限擴充，達到32g後就進入了64位世界，效能下降。

（3）併發效能問題，redis號稱單例項10萬併發，但也是有盡頭的。

（1）官方推薦，毋庸置疑。

（2）去中心化，集群最大可增加1000個節點，效能隨節點增加而線性擴充套件。

（3）管理方便，後續可自行增加或摘除節點，移動分槽等等。

（4）簡單，易上手。

我們以6個節點為例，來介紹redis cluster的體系架構，如下圖所示。其中：三個為master節點，另外三個為sl**e節點。

趙強老師 什麼是Redis Cluster

趙強老師 什麼是redis cluster redis cluster是redis的分布式解決方案，從3.0開始支援集群功能。redis集群採用無中心節點方式實現，無需proxy 客戶端直接與redis集群的每個節點連線，根據同樣的hash演算法計算出key對應的slot，然後直接在slot對應的r...

趙渝強老師 Kafka的持久化

kakfa 依賴檔案系統來儲存和快取訊息。對於硬碟的傳統觀念是硬碟總是很慢，基於檔案系統的架構能否提供優異的效能？實際上硬碟的快慢完全取決於使用方式。同時 kafka 基於 jvm 記憶體有以下缺點 實際上磁碟線性寫入的效能遠遠大於任意位置寫的效能，線性讀寫由作業系統進行了大量優化 read ahe...

趙渝強老師 Kafka的體系架構

資料工程中最具挑戰性的部分之一是如何從不同點收集和傳輸大量資料到分布式系統進行處理和分析。需要通過訊息佇列正確地分離大量資料，因為如果一部分資料無法傳送，則可以在系統恢復時傳輸和分析其他資料。有兩種訊息排隊，對於上述目的，它們都是可靠的和非同步的。點對點 point to point 和發布者 訂閱...