分布式檔案儲存系統技術及實現

2021-09-01 08:00:15 字數 700 閱讀 9976

本課程針對分步式檔案儲存系統的實現進行講解,首先分析為什麼要使用這種分步式儲存系統,以及這種系統在設計時需要注意的問題,並比較現在市面常見的分步式儲存系統(hdfs、ceph等),展示阿里pangu系統針對其中問題的解決方法,並結合pangu系統說明分步式儲存系統的設計要點。

開始學習:分布式檔案儲存系統技術及實現

講師介紹

姚文輝,2023年加入阿里巴巴,從事阿里巴巴自主研發的雲計算平台—飛天分布式作業系統中的分布式儲存系統—盤古。

課時列表:

課時1:分布式儲存客觀需求

課時2:小概率事件對分布式系統的挑戰

課時3:常見分布式系統-終版

課時4:分布式設計要點

課時5:分布式系統功能設計--寫入流程

課時6:分布式系統功能設計--讀取流程

課時7:分布式系統功能設計-qos

課時8:分布式系統功能設計-checksum

課時9:分布式系統功能設計-replication

課時10:分布式系統功能設計-rebalance

課時11:分布式系統功能設計-gc

課時12:分布式系統功能設計-erasure coding

課時13:元資料管理的高可用性

課時14:元資料管理的可擴充套件性

課時15:資料混合儲存

分布式檔案儲存系統技術及實現

阿里雲大學課程 分布式檔案儲存系統技術及實現 課程介紹 本課程針對分步式檔案儲存系統的實現進行講解,首先分析為什麼要使用這種分步式儲存系統,以及這種系統在設計時需要注意的問題,並比較現在市面常見的分步式儲存系統 hdfs ceph等 展示阿里pangu系統針對其中問題的解決方法,並結合pangu系統...

分布式儲存技術

分布式儲存技術 分布式儲存概念 與目前常見的集中式儲存技術不同,分布式儲存技術並不是將資料儲存在某個或多個特定的節點上,而是通過網路使用企業中的每台機器上的磁碟空間,並將這些分散的儲存資源構成乙個虛擬的儲存裝置,資料分散的儲存在企業的各個角落。結構化資料的儲存及應用所謂結構化資料是一種使用者定義的資...

FastDFS分布式檔案儲存系統

負載均衡和排程,通過tracker server 在文上傳的時候可以根據一些策略找到storage server提供檔案上傳服務,可以將tracker 稱為追蹤伺服器或排程伺服器 檔案儲存,客戶端上傳的檔案最終儲存在storage 伺服器,storage server沒有實現自己的檔案系統而是利用作...