內附完整原始碼和文件 分布式檔案系統研究與應用

2021-10-08 10:28:00 字數 865 閱讀 2922

摘 要

分布式檔案系統,在當今集群儲存中起著重要的作用,其中moosefs更是當中的佼佼者,他是一種分布式網路系統,它分布在多個計算機節點上面,每個節點只會儲存整個檔案的一部分內容,它有多重備份,易於部署,方便擴容等諸多的優點,而且它能夠統一介面,使用它就像使用普通的檔案系統一樣,而且它對小檔案的處理,效能優秀。它採用當今主流的master /chunk 設計,而且有強大的日誌功能,資料恢復更***。

本文所提及實現的是乙個基於分布式檔案系統的網盤,主要是通過大量的分布式儲存節點提供儲存服務,再通過指定的伺服器進行掛在到本地,對外提供儲存服務。提供統一的開放介面,提供給開發者使用。

此分布式網盤,可以提供資料自動備份,將資料備份為3份,備份到不同的節點至上,從而使得資料的安全性大大的提高。

整個開放分布式網盤,主要由三個部分組成,moosefs,分布式網盤,分布式網盤開放介面。moosefs主要提供分布式儲存,備份,冗餘等功能,分布式網盤主要提供邏輯上的操作,開放介面,是分布式網盤對外提供服務的橋梁,開發者通過api來使用分布式網盤,從而提高分布式網盤的使用範圍。

關鍵字: 分布式檔案系統,moosefs,資料恢復

完整的原始碼和詳細的文件,上傳到了 write-bug技術共享平台 上,需要的請自取:

redis分布式鎖原始碼

public class distributelockbyredis implements distributelock public int lock string key,string uniqueid,long expiretime,boolean isthreadblocking,long ...

分布式 DBLE 網路模組原始碼解析(三)

熱愛技術 樂於分享的技術人,目前主要從事資料庫相關技術的研究。在前兩篇文章中,主要講了網路 io 的基礎知識,以及 dble 網路模組的原始碼分析,本篇作為 dble 網路模組原始碼解析的第三篇,也是最後一篇,主要對 dble 網路模組知識作個簡單概括及總結。我們先來看下網路模組涉及到的主要類圖 d...

分布式排程平台XXL JOB原始碼分析 排程中心

上圖是我們要進行原始碼分析的2.1版本的整體架構圖。其分為兩大塊,排程中心和執行器,本文先分析排程中心,也就是xxl job admin這個包的 配置類xxljobadminconfig,裡面維護了一些排程中心端的配置資料。xxljobscheduler這個元件實現了initializingbean...