《大規模分布式儲存系統》讀書摘記(持續更新)

2022-05-04 03:51:11 字數 648 閱讀 1778

3 分布式系統

3.5 容錯

故障檢測:

故障恢復:

3.6 可擴充套件性

總控節點:

資料庫擴容:

異構系統:

3.7 分布式協議

兩階段提交協議(2pc):

paxos協議:

paxos與2pc:

跨機房部署:

4 分布式檔案系統

4.1 google檔案系統

系統架構:

關鍵問題:

一致性模型:

追加流程

容錯機制

master設計:

負載均衡:

快照:chunkserver設計:

4.2 taobao file system(blob儲存系統)

系統架構:

討論:4.3 fackbook haystack

系統架構:

容錯處理:

haystack目錄功能:

5 分布式鍵值系統

5.1 amazon dynamo

資料分布:

一致性與複製:

容錯:負載均衡:

讀寫流程:

讀資料:

大規模分布式儲存系統(雲儲存)作者blog

技術雜談 10年定下近幾年的技術方向 1,精通架構 深入理解線上,線下分布式儲存 計算並能夠形成完整的知識體系 2,理解系統 理解系統,網路,idc,虛擬化等相關知識 3,掌握應用 通過應用證明和修正分布式知識體系 11年做了一些事情 1,思考並討論google,amazon,microsoft,y...

大規模分布式壓測

阿里雲效能測試頁面 需要臨時擴容他們的機器來支援100w的qps,每秒100w的請求,聽起來還是挺恐怖的。什麼概念呢,2013 年雙12的大秒系統的峰值qps也就在42萬多。從這樣的資料來看,這個客戶的需求高的離譜。但是既然使用者有這個需求,我們還是需要滿足客戶的期望。遇到問題主要有 遇到的挑戰主要...

大規模分布式儲存系統 讀書筆記 第一章

分布式儲存系統是大量普通pc伺服器通過internet互聯,對外作為乙個整體提供儲存服務。可擴充套件 低成本 高效能 易用。資料分布 一致性 容錯 負載均衡 事務與併發控制 易用性 壓縮 解壓縮。結構化資料 關係資料 半結構化資料 非結構化資料物件 facebook haystack taobao ...