3 分布式系統
3.5 容錯
故障檢測:
故障恢復:
3.6 可擴充套件性
總控節點:
資料庫擴容:
異構系統:
3.7 分布式協議
兩階段提交協議(2pc):
paxos協議:
paxos與2pc:
跨機房部署:
4 分布式檔案系統
4.1 google檔案系統
系統架構:
關鍵問題:
一致性模型:
追加流程
容錯機制
master設計:
負載均衡:
快照:chunkserver設計:
4.2 taobao file system(blob儲存系統)
系統架構:
討論:4.3 fackbook haystack
系統架構:
容錯處理:
haystack目錄功能:
5 分布式鍵值系統
5.1 amazon dynamo
資料分布:
一致性與複製:
容錯:負載均衡:
讀寫流程:
讀資料:
大規模分布式儲存系統(雲儲存)作者blog
技術雜談 10年定下近幾年的技術方向 1,精通架構 深入理解線上,線下分布式儲存 計算並能夠形成完整的知識體系 2,理解系統 理解系統,網路,idc,虛擬化等相關知識 3,掌握應用 通過應用證明和修正分布式知識體系 11年做了一些事情 1,思考並討論google,amazon,microsoft,y...
大規模分布式壓測
阿里雲效能測試頁面 需要臨時擴容他們的機器來支援100w的qps,每秒100w的請求,聽起來還是挺恐怖的。什麼概念呢,2013 年雙12的大秒系統的峰值qps也就在42萬多。從這樣的資料來看,這個客戶的需求高的離譜。但是既然使用者有這個需求,我們還是需要滿足客戶的期望。遇到問題主要有 遇到的挑戰主要...
大規模分布式儲存系統 讀書筆記 第一章
分布式儲存系統是大量普通pc伺服器通過internet互聯,對外作為乙個整體提供儲存服務。可擴充套件 低成本 高效能 易用。資料分布 一致性 容錯 負載均衡 事務與併發控制 易用性 壓縮 解壓縮。結構化資料 關係資料 半結構化資料 非結構化資料物件 facebook haystack taobao ...