分布式協調系統(日誌複製系統):paxos演算法及其變體的實現,典型的有zookeeper、etcd;
分布式檔案系統:hdfs(hadoop)
分布式nosql:redis、hbase
訊息佇列:rabbitmq kafka,關注訊息的at least once, at most once, only once。
分布式任務排程:azkaban
分布式計算框架:
基於有限資料集:基於mapreduce的hadoop,基於記憶體計算的spark
面向無限資料集的流計算:storm,flink
常見分布式快取問題
今天給大家整理一篇關於redis經常被問到的問題 快取雪崩 快取穿透 快取預熱 快取更新 快取降級等概念 一 快取雪崩 快取雪崩我們可以簡單的理解為 由於原有快取失效,新快取未到期間 例如 我們設定快取時採用了相同的過期時間,在同一時刻出現大面積的快取過期 所有原本應該訪問快取的請求都去查詢資料庫了...
常見分布式檔案系統
常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。gfs google file system google公司為了滿足本公司需求而開發的...
分布式 分布式鎖
本質是利用redis的setnx 方法的特性來加鎖,setnx 即key不存在則設定key,否則直接返回false,要求在分布式系統中使用同乙個redis服務,以下提供兩種解決方案 1 直接使用redistemplate 這其實並不能完全保證高併發下的安全問題,因為可能在鎖過期之後該執行緒尚未執行完...