2023年開始研究分布式儲存，當初目的是為了給支付環境提供一套穩定的共享檔案系統儲存。考察了當時 lustre、hdfs、ceph（當初還不成熟）、glusterfs、mogilefs、fastdfs、kfs、**tfs、nfs、openafs、moosefs、gpfs、pvfs、pnfs考察之後綜合當時使用場景、做了效能測試和故障恢復測試，結果選擇了mfs。
mfs工作原理：
當時mfs1.6版本沒有高可用，因此生產環境用了mfs+drbd+keepalived實現master節點高可用。
架構圖為：
說明：①、2臺mfs的master節點安裝drbd做網路磁碟，磁碟上存放master的meta元資料檔案；
②、2臺master上安裝keepalived，做vip漂移，keepalived通過指令碼檢測mfs的master的服務狀態，讓vip自動切換。
③、client、chunk server、metalogger都連線到vip上，保證了服務高可用。
生產中遇到過的問題：
1、由於機房管理人員操作失誤，兩個master節點硬碟全部格式化。
解決:通過日誌伺服器備份出來的日誌恢復到了指定時間點。由於日誌備份每天一次，資料還是有小部分丟失。
2、曾經入職一家商務公司，入職第一天技術部總監跟我說乙個星期前一位同事去機房給3臺chunk server節點換了8塊硬碟（同時插拔的哦），其中兩台節點硬碟沒有做raid，生產資料也沒有做多副本。
解決：從換硬碟到跑路。在測試mfs效能的時候對raid和單獨硬碟掛載做過比較，相同數量硬碟情況下raid比但度硬碟掛載效能差距不大，個人認為可視伺服器狀況自行選擇，注意生產環境中raid和預設多副本要選擇其一。
認為可視伺服器狀況自行選擇，注意生產環境中raid和預設多副本要選擇其一。
MFS分布式檔案儲存伺服器配置詳解
1.元資料伺服器 master 2.資料儲存伺服器 chunk server 兩台伺服器均以虛擬機器centos7系統為例項搭建 以下 在主控端執行 systemctl stop firewalld.service 關閉防火牆 setenforce 0 關閉selinux useradd s sbi...
MFS分布式檔案系統簡介
注意 mfs特性 moosefs是乙個分布式儲存的框架，其具有如下特性 可能的瓶頸 master 本身的效能瓶頸。mfs 系統 master 存在單點故障如何解決?moosefs drbd heartbeat 來保證 master 單點問題?不過在使用過程中不可能完全不關機和間歇性的網路中斷 體系架...
分布式儲存
塊儲存，檔案儲存，物件儲存區別 分布式儲存的應用場景相對於其儲存介面，現在流行分為三種 物件儲存 也就是通常意義的鍵值儲存，其介面就是簡單的get put del和其他擴充套件，如七牛 又拍 swift s3 塊儲存 這種介面通常以qemu driver或者kernel module的方式存在，這種...