寫在前面,避免看到的人踩坑。moosefs目前單個檔案至少64k,就算你的報文只有1個位元組那麼大,moosefs還是會把你存成64k的檔案。所以對小檔案的儲存,空間是非常浪費的。
最近公司準備實施分布式檔案系統,去年我們有同事嘗試過使用fastdfs和hdfs。從使用情況看,hdfs更適合大檔案(本人暫時沒深入了解), fastdfs 壓測不是很穩定(也許是我們沒設定好)。最近有空研究了一下分布式檔案系統,發現mfs在國內應用比較普遍,安裝也比較方便,初步壓測了一下(沒有深入研究效能優化),100k的檔案寫達到 300-400個/s。使用mfs的另乙個非常大的好處是,支援posix標準,原先的應用系統能做到平滑遷移,同時運維人員也無需其他額外的工具就能像使用linux作業系統一樣讀寫檔案,查詢檔案。相比fastdfs,運維難度將明顯降低。最新版本是mfs3.x, 以下是mfs3.0的部署筆記。
1 準備好機器:
master server: 192.168.3.127
cgi server: 192.168.3.127
metalogger server: 192.168.3.131
chunk servers: 192.168.3.142
192.168.3.143
clients: 192.168.3.140
關閉所有機器的防火牆。 service iptables stop
2. 在master servers, chunk servers 和 clients機器中對映網域名稱。
echo 192.168.3.127 mfsmaster >> /etc/hosts
echo 192.168.3.131 mfsmaster >> /etc/hosts
所有命令必須是正常stop ,如 mfsmaster stop。否則可能導致服務無法啟動,需要恢復。
啟動順序:
matser---metalogger---chunker---client.
關閉順序:
client---chunker---metalogger---master
2) 登入linux伺服器,檢視作業系統版本。 命令:cat /etc/issue
2)解壓,將對應版本的檔案
moosefs-master-3.0.79-1.rhsysv.x86_64.rpm
moosefs-cgi-3.0.79-1.rhsysv.x86_64.rpm
moosefs-cgiserv-3.0.79-1.rhsysv.x86_64.rpm
拷貝到 usr/local/moosefs下
4. 安裝master server(192.168.3.127)
1)rpm –ivh moosefs-master-3.0.79-1.rhsysv.x86_64.rpm
2)確認在 /etc/mfs 下生成了相關的配置檔案 (mf***ports.cfg, mfsmaster.cfg 等)
3)設定自動啟動, 建立 /etc/default/moosefs-master, 輸入 mfsmaster_enable=true
4) 更改許可權chown -r mfs:mfs /var/lib/mfs
5)service moosefs - master start
6) 使用 mfsmaster start 可忽略(3,4,5)
5. 安裝監控(192.168.3.127)
1)rpm –ivh moosefs-cgi-3.0.79-1.rhsysv.x86_64.rpm
rpm –ivh moosefs-cgiserv-3.0.79-1.rhsysv.x86_64.rpm
如果裝錯,解除安裝(rpm -e --allmatches --nodeps moosefs-master-3.0.79-1.rhsysv.x86_64)
2)啟動監控:mfscgiserv start
3)檢視監控:
6.安裝客戶端(192.168.3.127)
1)rpm -ivh moosefs-cli-3.0.79-1.rhsysv.x86_64.rpm
7.安裝chunkserver(192.168.3.141-143)
1) rpm -ivh moosefs-chunkserver-3.0.79-1.rhsysv.x86_64.rpm
2) 修改配置, vi /etc/mfs/mfshdd.cfg
將其中的 /mnt/hd1 的注釋去掉,為trunk指定掛載目錄
3)建立目錄
mkdir /mnt/hd1
chown -r mfs:mfs /mnt/hd1
4) 啟動服務
mfschunkserver start
8.安裝使用者使用client(192.168.3.140)
rpm -ivh moosefs-client-3.0.79-1.rhsysv.x86_64.rpm
mkdir -p /mnt/mfs
mfsmount /mnt/mfs -h mfsmaster
驗證: mkdir -p /mnt/mfs/data1
copy *.rpm /mnt/mfs/data1
MooseFS 3 0部署筆記 4 原創
此文接 部署筆記3 介紹mfs高可用中的keepalived的部署.keepalived 安裝 2.tar xzvf keepalived 1.2.23.tar.gz 可用命令檢視相關元件的版本 rpm qa grep x rpm ivh libcom err devel 1.41.12 11.el...
Zabbix3 0部署最佳實踐
zabbix3 整個web 介面做了乙個全新的設計。更多新特性當前字幕檢視 筆者qq 572891887 linux架構 471443208 root linux node1 cat etc redhat release 檢視系統版本 centos linux release 7.2.1511 co...
WSS 3 0部署備忘 三
1 關於搜尋功能 2 安裝了wss 3.0 有安裝了search server 2008 折騰了一通後,解除安裝了search server 2008,結果 wss3.0 也沒得用了 悲催 3 顯而易見,支援表單身份驗證的外部站點是不支援爬網的 4 關於搜尋的乙個問題 如果只採用表單認證的方式,你會...