seaweedfs使用說明

2021-09-03 07:39:15 字數 4294 閱讀 4998

master 儲存對映關係,檔案和fid的對映關係 weed master

node 系統抽象的結點,抽象為datacenter、rack、datanode

datacenter 資料中心,包含多個rack,類似乙個機房

rack :屬於乙個datacenter,類似機房中的乙個機架

datanode : 儲存節點,儲存多個volume,類似機架中的乙個機器 weed volume

volume :邏輯卷,儲存needle

needle: 邏輯卷中的object,對應儲存的檔案

collection:檔案集,預設所有檔案都屬於""檔案集。如果想給某些檔案單獨分類,可以在申請id的時候指定相同的檔案集

filer :指向乙個或多個master的file伺服器,多個使用逗號隔開。 weed filer

weed volume會建立乙個 datanode ,可以指定所屬的 datacenter rack和master ,會根據配置儲存檔案,預設一開始沒有volume,當開始儲存檔案的時候才會建立乙個volume,當這乙個volume大小超過了volumesizelimitmb 就會新增乙個volume,當volume個數超過了max則該datanode就不能新增資料了。那就需要在通過weed volume命令新增乙個datanode。

啟動乙個master

weed master -ip -mdir -port -peers -defaultreplication -volumesizelimitmb -whitelist

weed volume -dir -max=100 -mserver -port -datacenter -rack -whitelist

申請檔案位址時可以指定datacenter collection replication count

方式1weed scaffold -config=filer -output=. 然後修改裡面leveldb的目錄

weed server -dir=./vtmp -master.port=9333 -master.dir=./mtmp -volume.max=5 -volume.port=9991 -filer -filer.port=8888 -master.volumesizelimitmb=10

-whitelist

-filer.dir 目錄來儲存元資料,預設為指定-dir的「filer」子目錄

-master.volumesizelimitmb 預設最大30000000 (30g)

-master.dir用於儲存元資料的資料目錄,預設為與指定的-dir相同

方式2weed master -port=9333 -mdir=./mtmp

weed volume -port=9991 -dir=./vtmp -max=100 -mserver=localhost:9333

weed scaffold -config=filer -output=.

weed filer -port=8888 -master=localhost:9333

預設最大7個,你可以設定100等等。。。

預設000 不備份

defaultreplication

000 不備份, 只有乙份資料

001 在相同的rackj裡備份乙份資料

010 在相同資料中心內不同的rack間備份乙份資料

100 在不同的資料中心備份乙份資料

200 在兩個不同的資料中心各複製2次

110 在不同的rack備份乙份資料, 在不同的資料中心備份一次

如果資料備份型別是 xyz形式

各自的意義

x 在別的資料中心備份的份數

y 不相同資料中心不同的racks備份的份數

z 在別的伺服器相同的rack的備份份數

直接往weed filer中拷貝目錄或者檔案(-include是檔案模式萬用字元前使用??)

weed filer.copy nginxdir http://localhost:8888/aaa 把nginxdir拷貝到aaa目錄下

weed mount -filer=localhost:8888 -dir=~/wz/mdir(本地目錄) -filer.path=/aaa(上傳的filer中的目錄)

weed mount 像訪問本地目錄一樣訪問檔案系統,前提是開啟了 master volume filer

(它使用bazil.org/fuse,它允許在linux和osx上編寫fuse檔案系統。在osx上,它需要osxfuse)

weed mount -filer=localhost:8888 -dir=~/folder_on_seaweedfs -filer.path=/home/chris -collection=chris

weed mount -filer=localhost:8888 -dir=~/wz/mdir -filer.path=/aaa

關閉掛在需要關閉mount並且手動umont ~/wz/mdir目錄,如果一般使用者失敗請使用root使用者

找乙個磁碟充足的地方執行 備份某乙個卷軸。如果id是乙個不存在的卷軸不會在貝蒂建立任何檔案,所有可以for迴圈乙個很大的數來備份所有卷軸

weed backup -server=master:port -dir=. -volumeid=5

主伺服器通過raft協議進行協調,以選出乙個領導者。領導接手所有管理卷、分配檔案id的工作。所有其他主伺服器只是簡單地將請求**給leader。

如果領導人去世,將選舉出另一位領導人。所有的卷伺服器將把它們的心跳和卷資訊一起傳送給新的領導。新領導人將承擔全部責任。

在轉換過程中,可能會出現新領導對所有卷伺服器都有部分資訊的情況。這只是意味著那些還沒有心跳的卷伺服器暫時無法寫入。

現在讓我們按照通常的方式分別啟動主伺服器和卷伺服器。

通常您會啟動幾個(3或5)主伺服器,然後啟動卷伺服器:

weed master -port=9333 -mdir=./1 -peers=localhost:9333,localhost:9334,localhost:9335

weed master -port=9334 -mdir=./2 -peers=localhost:9333,localhost:9334,localhost:9335

weed master -port=9335 -mdir=./3 -peers=localhost:9333,localhost:9334,localhost:9335

now start the volume servers, specifying any one of the master server

weed volume -dir=./1 -port=8080 -mserver=localhost:9333,localhost:9334,localhost:9335

weed volume -dir=./2 -port=8081 -mserver=localhost:9333,localhost:9334,localhost:9335

weed volume -dir=./3 -port=8082 -mserver=localhost:9333,localhost:9334,localhost:9335

乙個場景:

如果本地已經有很多檔案了,如何快速的遷移到seaweedfs中呢?

1.啟動master、volume、filer

2.啟動mount

3.手動拷貝到mount目錄中(單執行緒的)

4.使用weed filer.copy file_or_dir1 [file_or_dir2 file_or_dir3] http://localhost:8888/path/to/a/folder/ (多執行緒且繞過fuse層)

非同步複製

應該有兩個seawidefilesystems執行,可能跨資料中心執行。每個伺服器都應該有自己的檔案伺服器、主伺服器和卷伺服器。

參考:

使用說明 附註工具使用說明

附註工具使用說明 附註工具用途 附註工具主要用於更新利用word附註應用程式生成的帶域 的附註,該工具在word右鍵 更新鏈結 的基礎上進行了優化,故在使用時,不能再利用word右鍵 更新鏈結 而要用本工具的 更新當前鏈結 或 更新所有鏈結 使用說明 一 更換路徑 當利用word附註應用程式生成帶域...

使用說明 農用遮光網使用說明

農用遮光網使用說明 建築防塵網購買方 建築施工企業 在購買建築防塵網時,應該對 作出比較,可以分辨品牌 型號,且購買時應該在一定程度上了解信譽良莠。建築防塵網購買方 市場售賣方 在選購建築防塵網時,可以把 作為基礎,好的 可以用來彌補信譽不足,而差的 則需要按照你的服務收費。農用遮光網使用說明 用途...

Hibernate tools 使用說明

05年的8月份第一次接觸hibernate tools,使用起來感覺還不錯,但也沒有深入研究,後來由於一直在做乙個專案,再後來用了一陣myeclipse,現在換了公司,使用wtp all in one eclipse的乙個版本 生成domain的時候使用了hibernate tools,發現都不知怎...