Federation的使用場景

2021-09-23 14:13:17 字數 652 閱讀 4704

擴充套件性

hdfs執行時將元資料儲存在namenode記憶體中,記錄了每個檔案物件內容(名稱、許可權、屬組等)。namenode記憶體使用量和檔案個數相關,namenode的記憶體的限制將制約檔案儲存數量。過大記憶體同時會導致以下問題:

federation中每對namenode分管一部分目錄,使得乙個集群可以擴充套件到更多namenode節點,總體能夠支援更多的檔案儲存。

效能瓶頸

隨著業務的發展,集群規模接近2000臺,namenode響應的rpc qps也在逐漸提高。越來越高併發的讀寫,與namenode的粗粒度元資料鎖,使namenode rpc響應延遲和平均rpc佇列長度也在慢慢提高。由於是單個namenode的hdfs架構,因此整個hdfs檔案系統的吞吐量受限於單個namenode的吞吐量。

federation中hdfs讀寫的時候,多對namenode管理不同的資料,且同時對外提供服務,將為使用者提供更高的讀寫吞吐率。

隔離問題

非federation場景下,單對namenode負載過高的應用,會影響到整個集群的服務能力。

採用federation後,使用者可根據需要將不同業務資料交由不同namespace管理,這樣不同業務之間影響很小。

集群的可用性

非federation場景下,一對namenode故障會導致整個hadoop集群不可用

Git使用場景 命令使用場景

通過個人使用git時候的遇到的使用場景,熟悉了解相關命令,也記錄一下場景的使用方法。所有場景均在ubuntu16.04 linux 作業系統下,其他作業系統有差異的地方自行查閱相關資料。安裝git sudo apt get install git設定及檢視git配置 user.name和user.e...

mongodb 使用場景和不使用場景

1.mongodb介紹 mongodb 名稱來自 humongous 是乙個可擴充套件的高效能,開源,模式自由,面向文件的資料庫。它使用c 編寫。mongodb特點 a.面向集合的儲存 適合儲存物件及json形式的資料。b.動態查詢 mongo支援豐富的查詢表達方式,查詢指令使用json形式的標記,...

mongodb 使用場景和不使用場景

mongodb 使用場景和不使用場景 2012 09 26 10 30 18 分類 linux 1.mongodb介紹 mongodb 名稱來自 humongous 是乙個可擴充套件的高效能,開源,模式自由,面向文件的資料庫。它使用c 編寫。mongodb特點 a.面向集合的儲存 適合儲存物件及js...