分布式檔案儲存 fastDFS集群擴充節點

2021-10-05 12:36:30 字數 3270 閱讀 5521

目錄

1、擴容tracker節點:

(1)增加tracker服務配置:

(2)增加hosts配置:

(3)增加storage配置:

(4)增加fastdfs-nginx配置:

(5)增加client配置:

2、擴容storage的group組內節點:

(1)增加storage服務配置:

(2)增加fastdfs-nginx服務配置:

(3)增加hosts配置:

(4)增加負載均衡nginx配置:

3、增加storage的group組:

(1)增加storage服務配置:

(2)增加fastdfs-nginx服務配置:

(3)增加hosts配置:

(4)增加負載均衡nginx配置:

tracker集群只是fastdfs中storage是***主要做排程工作,在訪問上起負載均衡的作用,增加tracker節點只是能增加tracker的高可用性更好、負載均衡更好,

一般生產環境使用3個tracker節點也就可以了,根據實際需要tracker節點數量更多也是可以的,沒有任何影響。

增加乙個tracker節點需要對原有的fastdfs集群做以下配置的更改工作:

新增加一台伺服器,按照上面安裝步驟進行對應的操作,安裝乙個新的tracker服務,並將對應的配置資訊配置完整即可。然後將該tracker服務啟動起來。

在tracker集群和storage集群的各個節點上,都需要進行操作:

在集群storage集群的各個節點上,都需要進行操作:

在集群storage集群的各個節點上,都需要進行操作:

因為每個storage都有對應的乙個fastdfs-nginx,通過vi命令編輯fastdfs-nginx的配置檔案/etc/fdfs/mod_fastdfs.conf,將新增加的tracker服務新增乙個新的tracker_server的資訊,新增加一行即可。

在tracker集群和storage集群節點中,如果當初有任意選擇乙個節點作為測試集群上傳功能節點,進行操作:

storage的group組內節點的資料是一模一樣的,group組內節點就是增加冗餘備份、增加訪問併發量,增加group組內節點只是能夠更加的提高檔案冗餘備份、提高訪問的併發量,並不能增加整個fastdfs集群的儲存容量。

一般生產環境乙個group的組內節點至少要有2個節點,這樣能夠有冗餘備份,保證高可用,並且有乙個定的併發量。如果想提高檔案訪問的併發量,那麼可以增加group組內節點的數量。

增加乙個storage的group組內節點需要對原有的fastdfs集群做以下配置的更改工作:

新增加一台伺服器,按照上面安裝步驟進行對應的操作,安裝乙個新的storage服務,並將對應的配置資訊配置完整即可,配置的時候注意下該storage屬於哪個組就將/etc/fdfs/storage.conf配置檔案中的group_name配置成對應group的名稱。然後將該storage服務啟動起來。

在新增加的storage伺服器上,按照上面安裝步驟進行對應的操作,安裝乙個新的fastdfs-nginx服務,並將對應的配置資訊配置完整即可,配置的時候注意下該storage屬於哪個組就將/etc/fdfs/mod_fastdfs.conf配置檔案中的group_name配置成對應group名稱。然後將該fastdfs-nginx服務啟動起來。

在tracker集群和storage集群的各個節點上,都需要進行操作:

如果在fastdfs集群各個節點的/etc/hosts配置檔案中有新增加的storage伺服器的ip和網域名稱對映關係那就不需要增加對映配置了,如果沒有該ip和網域名稱的對映那麼就需要進行如下操作了:

在負載均衡nginx的各個節點上,都需要進行如下操作:

由於負載均衡nginx中配置了各個group中乙個或多個fastdfs-nginx的訪問資訊,因此如果某個group中增加了fastdfs-nginx就需要在所有的負載均衡nginx配置檔案nginx.conf中對應的group中增加新的fastdfs-nginx訪問資訊:

通過vi命令編輯負載均衡nginx的配置檔案nginx.conf,將對應新增加的storage所屬的group對應的upstream中增加新的fastdfs-nginx的訪問資訊即可。

storage的group組就是fastdfs的儲存基本單位,檔案會通過tracker分配儲存到不同的group中,fastdfs的整體儲存空間就是各個group中儲存空間的疊加,因此增加group組能夠增加整個fastdfs集群的儲存容量。

一般生產環境是先有1-2個group,這樣也就有一定的儲存空間了。如果隨著時間的發展,儲存空間使用太多了,剩餘空間不足,需要提高整個fastdfs的儲存空間,那麼可以增加group組來提高儲存空間了。

增加乙個storage的group組需要對原有的fastdfs集群做以下配置的更改工作:

新增加一台伺服器,按照上面安裝步驟進行對應的操作,安裝乙個新的storage服務,並將對應的配置資訊配置完整即可,配置的時候注意下該storage是乙個新組,保證新增加的storage的goup名稱不能與fastdfs集群中原有的group名稱相同,然後將/etc/fdfs/storage.conf配置檔案中的group_name配置成乙個新的group名稱即可。然後將該storage服務啟動起來。

在新增加的storage伺服器上,按照上面安裝步驟進行對應的操作,安裝乙個新的fastdfs-nginx服務,並將對應的配置資訊配置完整即可,配置的時候注意下該storage屬於哪個組就將/etc/fdfs/mod_fastdfs.conf配置檔案中的group_name配置成對應group名稱。然後將該fastdfs-nginx服務啟動起來。

在tracker集群和storage集群的各個節點上,都需要進行操作:

如果在fastdfs集群各個節點的/etc/hosts配置檔案中有新增加的storage伺服器的ip和網域名稱對映關係那就不需要增加對映配置了,如果沒有該ip和網域名稱的對映那麼就需要進行如下操作了:

在負載均衡nginx的各個節點上,都需要進行如下操作:

由於負載均衡nginx中配置了各個group中乙個或多個fastdfs-nginx的訪問資訊,因此新增加了乙個group,那麼該group中肯定增加了至少一台storage,那麼就會增加了fastdfs-nginx,就需要在所有的負載均衡nginx配置檔案nginx.conf中增加新group的upstream配置資訊,然後增加對應的location**配置資訊:

通過vi命令編輯負載均衡nginx的配置檔案nginx.conf,按照原有配置資訊的方式,新增加乙個upstream配置,配置上新增加的group中對應的fastdfs-nginx連線資訊,然後新增加乙個location配置,配置上**到新group對應的upstream資訊。

分布式檔案儲存 FastDFS

7 fastdfs 和其他檔案儲存的簡單對比 寫操作 客戶端先是訪問tracker伺服器,由tracker伺服器幫我們尋找要寫入的卷 volume 一對主從備份為乙個卷,裡面可以有多台伺服器 然後返回可操作的storage server,這時客戶端訪問返回的storage server 進行寫操作 ...

FastDFS分布式檔案儲存

儲存能力是提供給上層業務系統以實現檔案訪問服務,這個儲存能力為xdfs,即可擴充套件的分布式檔案系統,實現的原理是封裝了第三方的分布式儲存系統實現的。目前封裝的第三方分布式系統包括fastdfs hadoop的hdfs,所提供的儲存介面如下 1 檔案上傳 2 檔案斷點上傳 5 檔案刪除 6 獲取檔案...

FastDFS分布式檔案儲存系統

負載均衡和排程,通過tracker server 在文上傳的時候可以根據一些策略找到storage server提供檔案上傳服務,可以將tracker 稱為追蹤伺服器或排程伺服器 檔案儲存,客戶端上傳的檔案最終儲存在storage 伺服器,storage server沒有實現自己的檔案系統而是利用作...