分布式 常見分布式框架

2021-10-09 23:45:11 字數 302 閱讀 4199

分布式協調系統(日誌複製系統):paxos演算法及其變體的實現,典型的有zookeeper、etcd;

分布式檔案系統:hdfs(hadoop)

分布式nosql:redis、hbase

訊息佇列:rabbitmq kafka,關注訊息的at least once, at most once, only once。

分布式任務排程:azkaban

分布式計算框架:

基於有限資料集:基於mapreduce的hadoop,基於記憶體計算的spark

面向無限資料集的流計算:storm,flink

常見分布式快取問題

今天給大家整理一篇關於redis經常被問到的問題 快取雪崩 快取穿透 快取預熱 快取更新 快取降級等概念 一 快取雪崩 快取雪崩我們可以簡單的理解為 由於原有快取失效,新快取未到期間 例如 我們設定快取時採用了相同的過期時間,在同一時刻出現大面積的快取過期 所有原本應該訪問快取的請求都去查詢資料庫了...

常見分布式檔案系統

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。gfs google file system google公司為了滿足本公司需求而開發的...

分布式 分布式鎖

本質是利用redis的setnx 方法的特性來加鎖,setnx 即key不存在則設定key,否則直接返回false,要求在分布式系統中使用同乙個redis服務,以下提供兩種解決方案 1 直接使用redistemplate 這其實並不能完全保證高併發下的安全問題,因為可能在鎖過期之後該執行緒尚未執行完...