儲存能力是提供給上層業務系統以實現檔案訪問服務,這個儲存能力為xdfs,即可擴充套件的分布式檔案系統,實現的原理是封裝了第三方的分布式儲存系統實現的。
目前封裝的第三方分布式系統包括fastdfs、hadoop的hdfs,所提供的儲存介面如下:
1 檔案上傳
2 檔案斷點上傳
5 檔案刪除
6 獲取檔案大小
hadoop的hdfs適合的場景是分布式計算的儲存,比如對大資料的統計分析,不適合用於高併發檔案儲存而快速響應的線上系統。
儲存能力的使用主要分為客戶端的api介面和伺服器端的儲存服務的部署,下面就這兩部分進行詳細講解。
1、客戶端api介面:
主要使用fileclient類加上xdfs.properties這個配置檔案,具體例子請參考客戶端使用例子目錄下的**。
fastdfs-client-1.24.jar,xdfs-1.0.0.jar
xdfs.properties內容
file_manager=fdfs
fdfs_tracker_server=ip:22122
hdfs_namenode_url=hdfs://ip:9000
hdfs_root_path=/data
hdfs_replication=3
nfs_root_path=/data
2、伺服器fastdfs安裝和部署:
1)把fastdfs_v4.06.tar.gz和libevent-2.0.21-stable.tar.gz上傳到linux伺服器某個目錄下,如上傳到:/usr/local/resource
2) 安裝libevent
cd /usr/local/resource
tar –zxvf libevent-2.0.21-stable.tar.gz
cd libevent-2.0.21-stable
./configure –prefix=/usr/local/libevent
make
make install
ln –s /usr/local/libevent/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5
預設編譯libevent 在/usr/local/lib/
ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5
3) 安裝fastdfs
cd /usr/local
tar –zxvf resource/fastdfs_v4.06.tar.gz
cd fastdfs
./make.sh
./make.sh install
配置檔案有:tracker.conf storage.conf storage_ids.conf
配置檔案有:nginx.conf mod_fastdfs.conf
1) nginx.conf配置檔案增加如下配置:
location /m00
備註:埠保持預設的80,不要改動。
mod_fastdfs.conf配置檔案中的配置項和storage.conf儲存一致。
5、啟動和關閉tracker伺服器:
啟動:/usr/local/bin/fdfs_tracker /etc/fdfs/tracker.conf
關閉:使用kill命令,不要加-9強殺
6、啟動和關閉storage伺服器:
啟動:/usr/local/bin/fdfs_storage /etc/fdfs/storage.conf
關閉:使用kill命令,不要加-9強殺
分布式檔案儲存 FastDFS
7 fastdfs 和其他檔案儲存的簡單對比 寫操作 客戶端先是訪問tracker伺服器,由tracker伺服器幫我們尋找要寫入的卷 volume 一對主從備份為乙個卷,裡面可以有多台伺服器 然後返回可操作的storage server,這時客戶端訪問返回的storage server 進行寫操作 ...
FastDFS分布式檔案儲存系統
負載均衡和排程,通過tracker server 在文上傳的時候可以根據一些策略找到storage server提供檔案上傳服務,可以將tracker 稱為追蹤伺服器或排程伺服器 檔案儲存,客戶端上傳的檔案最終儲存在storage 伺服器,storage server沒有實現自己的檔案系統而是利用作...
FastDFS分布式儲存檔案系統
本次模擬單節點tracker伺服器以及兩台storage伺服器,建立之前必須確保伺服器之間都能相互ping通以及關閉防火牆 或者開放tracker伺服器與storage伺服器中配置檔案裡涉及的埠 安裝gcc環境 yum install y gcc c 建立存放目錄並進入該目錄 mkdir p opt...