HDFS的缺點及改進策略

2022-02-12 03:40:38 字數 414 閱讀 9555

hdfs是乙個不錯的分布式檔案系統,它有很多的優點,但也存在有一些缺點。目前而言,它在以下幾個方面就效率不佳:

低延時訪問

hdfs不太適合於那些要求低延時(數十毫秒)訪問的應用程式,因為hdfs是設計用於大吞吐量資料的,這是以一定延時為代價的。hdfs是單master的,所有的對檔案的請求都要經過它,當請求多時,肯定會有延時。當前,對於那些有低延時要求的應用程式,hbase是乙個更好的選擇。現在hbase的版本是0.20,相對於以前的版本,在效能上有了很大的提公升,它的口號就是goes real time。

使用快取或多master設計可以降低client的資料請求壓力,以減少延時。還有就是對hdfs系統內部的修改,這就得權衡大吞吐量與低延時了,hdfs不是萬能的銀彈。

大量小檔案

HDFS缺點及改進策略

hdfs是乙個不錯的分布式檔案系統,它有很多的優點,但也存在有一些缺點。目前而言,它在以下幾個方面就效率不佳 低延時訪問 hdfs不太適合於那些要求低延時 數十毫秒 訪問的應用程式,因為hdfs是設計用於大吞吐量資料的,這是以一定延時為代價的。hdfs是單master的,所有的對檔案的請求都要經過它...

HDFS的缺點及改進策略

hdfs是乙個不錯的分布式檔案系統,它有很多的優點,但也存在有一些缺點。目前而言,它在以下幾個方面就效率不佳 低延時訪問 hdfs不太適合於那些要求低延時 數十毫秒 訪問的應用程式,因為hdfs是設計用於大吞吐量資料的,這是以一定延時為代價的。hdfs是單master的,所有的對檔案的請求都要經過它...

EventBus的缺點及改進公升級

eventbus很屌,被廣泛用於事件分發 工程解耦,現在已經出到了第3版eventbuds3。網上對它的介紹太多了,我這裡就不詳細展開了。有不熟悉的可以閱讀以下這篇文章 老司機教你 飆 eventbus3 然而本文並不是靠吹噓eventbus來裝逼的,相反,我要數落一下它的缺點,並推介一下event...