master 儲存對映關係,檔案和fid的對映關係 weed master
node 系統抽象的結點,抽象為datacenter、rack、datanode
datacenter 資料中心,包含多個rack,類似乙個機房
rack :屬於乙個datacenter,類似機房中的乙個機架
datanode : 儲存節點,儲存多個volume,類似機架中的乙個機器 weed volume
volume :邏輯卷,儲存needle
needle: 邏輯卷中的object,對應儲存的檔案
collection:檔案集,預設所有檔案都屬於""檔案集。如果想給某些檔案單獨分類,可以在申請id的時候指定相同的檔案集
filer :指向乙個或多個master的file伺服器,多個使用逗號隔開。 weed filer
weed volume會建立乙個 datanode ,可以指定所屬的 datacenter rack和master ,會根據配置儲存檔案,預設一開始沒有volume,當開始儲存檔案的時候才會建立乙個volume,當這乙個volume大小超過了volumesizelimitmb 就會新增乙個volume,當volume個數超過了max則該datanode就不能新增資料了。那就需要在通過weed volume命令新增乙個datanode。
啟動乙個master
weed master -ip -mdir -port -peers -defaultreplication -volumesizelimitmb -whitelist
weed volume -dir -max=100 -mserver -port -datacenter -rack -whitelist
申請檔案位址時可以指定datacenter collection replication count
方式1weed scaffold -config=filer -output=. 然後修改裡面leveldb的目錄
weed server -dir=./vtmp -master.port=9333 -master.dir=./mtmp -volume.max=5 -volume.port=9991 -filer -filer.port=8888 -master.volumesizelimitmb=10
-whitelist
-filer.dir 目錄來儲存元資料,預設為指定-dir的「filer」子目錄
-master.volumesizelimitmb 預設最大30000000 (30g)
-master.dir用於儲存元資料的資料目錄,預設為與指定的-dir相同
方式2weed master -port=9333 -mdir=./mtmp
weed volume -port=9991 -dir=./vtmp -max=100 -mserver=localhost:9333
weed scaffold -config=filer -output=.
weed filer -port=8888 -master=localhost:9333
預設最大7個,你可以設定100等等。。。
預設000 不備份
defaultreplication
000 不備份, 只有乙份資料
001 在相同的rackj裡備份乙份資料
010 在相同資料中心內不同的rack間備份乙份資料
100 在不同的資料中心備份乙份資料
200 在兩個不同的資料中心各複製2次
110 在不同的rack備份乙份資料, 在不同的資料中心備份一次
如果資料備份型別是 xyz形式
各自的意義
x 在別的資料中心備份的份數
y 不相同資料中心不同的racks備份的份數
z 在別的伺服器相同的rack的備份份數
直接往weed filer中拷貝目錄或者檔案(-include是檔案模式萬用字元前使用??)
weed filer.copy nginxdir http://localhost:8888/aaa 把nginxdir拷貝到aaa目錄下
weed mount -filer=localhost:8888 -dir=~/wz/mdir(本地目錄) -filer.path=/aaa(上傳的filer中的目錄)
weed mount 像訪問本地目錄一樣訪問檔案系統,前提是開啟了 master volume filer
(它使用bazil.org/fuse,它允許在linux和osx上編寫fuse檔案系統。在osx上,它需要osxfuse)
weed mount -filer=localhost:8888 -dir=~/folder_on_seaweedfs -filer.path=/home/chris -collection=chris
weed mount -filer=localhost:8888 -dir=~/wz/mdir -filer.path=/aaa
關閉掛在需要關閉mount並且手動umont ~/wz/mdir目錄,如果一般使用者失敗請使用root使用者
找乙個磁碟充足的地方執行 備份某乙個卷軸。如果id是乙個不存在的卷軸不會在貝蒂建立任何檔案,所有可以for迴圈乙個很大的數來備份所有卷軸
weed backup -server=master:port -dir=. -volumeid=5
主伺服器通過raft協議進行協調,以選出乙個領導者。領導接手所有管理卷、分配檔案id的工作。所有其他主伺服器只是簡單地將請求**給leader。
如果領導人去世,將選舉出另一位領導人。所有的卷伺服器將把它們的心跳和卷資訊一起傳送給新的領導。新領導人將承擔全部責任。
在轉換過程中,可能會出現新領導對所有卷伺服器都有部分資訊的情況。這只是意味著那些還沒有心跳的卷伺服器暫時無法寫入。
現在讓我們按照通常的方式分別啟動主伺服器和卷伺服器。
通常您會啟動幾個(3或5)主伺服器,然後啟動卷伺服器:
weed master -port=9333 -mdir=./1 -peers=localhost:9333,localhost:9334,localhost:9335
weed master -port=9334 -mdir=./2 -peers=localhost:9333,localhost:9334,localhost:9335
weed master -port=9335 -mdir=./3 -peers=localhost:9333,localhost:9334,localhost:9335
now start the volume servers, specifying any one of the master server
weed volume -dir=./1 -port=8080 -mserver=localhost:9333,localhost:9334,localhost:9335
weed volume -dir=./2 -port=8081 -mserver=localhost:9333,localhost:9334,localhost:9335
weed volume -dir=./3 -port=8082 -mserver=localhost:9333,localhost:9334,localhost:9335
乙個場景:
如果本地已經有很多檔案了,如何快速的遷移到seaweedfs中呢?
1.啟動master、volume、filer
2.啟動mount
3.手動拷貝到mount目錄中(單執行緒的)
4.使用weed filer.copy file_or_dir1 [file_or_dir2 file_or_dir3] http://localhost:8888/path/to/a/folder/ (多執行緒且繞過fuse層)
非同步複製
應該有兩個seawidefilesystems執行,可能跨資料中心執行。每個伺服器都應該有自己的檔案伺服器、主伺服器和卷伺服器。
參考:
使用說明 附註工具使用說明
附註工具使用說明 附註工具用途 附註工具主要用於更新利用word附註應用程式生成的帶域 的附註,該工具在word右鍵 更新鏈結 的基礎上進行了優化,故在使用時,不能再利用word右鍵 更新鏈結 而要用本工具的 更新當前鏈結 或 更新所有鏈結 使用說明 一 更換路徑 當利用word附註應用程式生成帶域...
使用說明 農用遮光網使用說明
農用遮光網使用說明 建築防塵網購買方 建築施工企業 在購買建築防塵網時,應該對 作出比較,可以分辨品牌 型號,且購買時應該在一定程度上了解信譽良莠。建築防塵網購買方 市場售賣方 在選購建築防塵網時,可以把 作為基礎,好的 可以用來彌補信譽不足,而差的 則需要按照你的服務收費。農用遮光網使用說明 用途...
Hibernate tools 使用說明
05年的8月份第一次接觸hibernate tools,使用起來感覺還不錯,但也沒有深入研究,後來由於一直在做乙個專案,再後來用了一陣myeclipse,現在換了公司,使用wtp all in one eclipse的乙個版本 生成domain的時候使用了hibernate tools,發現都不知怎...