FastDFS分布式檔案儲存

2022-09-01 12:24:12 字數 1809 閱讀 9672

儲存能力是提供給上層業務系統以實現檔案訪問服務,這個儲存能力為xdfs,即可擴充套件的分布式檔案系統,實現的原理是封裝了第三方的分布式儲存系統實現的。

目前封裝的第三方分布式系統包括fastdfs、hadoop的hdfs,所提供的儲存介面如下:

1  檔案上傳

2 檔案斷點上傳

5  檔案刪除

6 獲取檔案大小

hadoop的hdfs適合的場景是分布式計算的儲存,比如對大資料的統計分析,不適合用於高併發檔案儲存而快速響應的線上系統。

儲存能力的使用主要分為客戶端的api介面和伺服器端的儲存服務的部署,下面就這兩部分進行詳細講解。

1、客戶端api介面:

主要使用fileclient類加上xdfs.properties這個配置檔案,具體例子請參考客戶端使用例子目錄下的**。

fastdfs-client-1.24.jar,xdfs-1.0.0.jar

xdfs.properties內容

file_manager=fdfs

fdfs_tracker_server=ip:22122

hdfs_namenode_url=hdfs://ip:9000

hdfs_root_path=/data

hdfs_replication=3

nfs_root_path=/data

2、伺服器fastdfs安裝和部署:

1)把fastdfs_v4.06.tar.gz和libevent-2.0.21-stable.tar.gz上傳到linux伺服器某個目錄下,如上傳到:/usr/local/resource

2) 安裝libevent

cd /usr/local/resource

tar –zxvf libevent-2.0.21-stable.tar.gz

cd libevent-2.0.21-stable

./configure –prefix=/usr/local/libevent

make

make install

ln –s /usr/local/libevent/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5

預設編譯libevent  在/usr/local/lib/

ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5

3) 安裝fastdfs

cd /usr/local

tar –zxvf resource/fastdfs_v4.06.tar.gz

cd fastdfs

./make.sh

./make.sh install

配置檔案有:tracker.conf   storage.conf   storage_ids.conf

配置檔案有:nginx.conf   mod_fastdfs.conf

1)    nginx.conf配置檔案增加如下配置:

location /m00

備註:埠保持預設的80,不要改動。

mod_fastdfs.conf配置檔案中的配置項和storage.conf儲存一致。

5、啟動和關閉tracker伺服器:

啟動:/usr/local/bin/fdfs_tracker /etc/fdfs/tracker.conf

關閉:使用kill命令,不要加-9強殺

6、啟動和關閉storage伺服器:

啟動:/usr/local/bin/fdfs_storage /etc/fdfs/storage.conf

關閉:使用kill命令,不要加-9強殺

分布式檔案儲存 FastDFS

7 fastdfs 和其他檔案儲存的簡單對比 寫操作 客戶端先是訪問tracker伺服器,由tracker伺服器幫我們尋找要寫入的卷 volume 一對主從備份為乙個卷,裡面可以有多台伺服器 然後返回可操作的storage server,這時客戶端訪問返回的storage server 進行寫操作 ...

FastDFS分布式檔案儲存系統

負載均衡和排程,通過tracker server 在文上傳的時候可以根據一些策略找到storage server提供檔案上傳服務,可以將tracker 稱為追蹤伺服器或排程伺服器 檔案儲存,客戶端上傳的檔案最終儲存在storage 伺服器,storage server沒有實現自己的檔案系統而是利用作...

FastDFS分布式儲存檔案系統

本次模擬單節點tracker伺服器以及兩台storage伺服器,建立之前必須確保伺服器之間都能相互ping通以及關閉防火牆 或者開放tracker伺服器與storage伺服器中配置檔案裡涉及的埠 安裝gcc環境 yum install y gcc c 建立存放目錄並進入該目錄 mkdir p opt...