HDFS適用場景和不適用場景

2021-10-25 17:49:59 字數 817 閱讀 7797

海量資料儲存: hdfs可橫向擴充套件,其儲存的檔案可以支援pb級別或更高階別的資料儲存。

高容錯性:資料儲存多個副本,副本丟失後自動恢復。可構建在廉價的機器上,實現線性擴充套件。當集群增加新節點之後,namenode也可以感知,進行負載均衡,將資料分發和備份資料均衡到新的節點上。

商用硬體:hadoop並不需要執行在昂貴且高可靠的硬體上。它是設計執行在商用硬體(廉價商業硬體)的集群上的。

大檔案儲存:hdfs採用資料塊的方式儲存資料,將資料物理切分成多個小的資料塊。所以再大的資料,切分後,大資料變成了很多小資料。使用者讀取時,重新將多個小資料塊拼接起來。

一次寫入多次讀取。hdfs 是設計成適應一次寫入,多次讀出的場景,且不支援檔案的修改。

正因為如此,hdfs 適合用來做大資料分析的底層儲存服務,並不適合用來做.網盤等應用,因為,修改不方便,延遲大,網路開銷大,成本太高。

不能做到低延遲資料訪問:由於hadoop針對高資料吞吐量做了優化,犧牲了獲取資料的延遲,所以對於低延遲訪問資料的業務需求不適合hdfs。

不適合大量的小檔案儲存 :由於namenode將檔案系統的元資料儲存在記憶體中,因此該檔案系統所能儲存的檔案總數受限於namenode的記憶體容量。根據經驗,每個檔案、目錄和資料塊的儲存資訊大約佔150位元組。因此,如果有一百萬個小檔案,每個小檔案都會佔乙個資料塊,那至少需要300mb記憶體。如果是上億級別的,就會超出當前硬體的能力。

修改檔案:。hdfs適合一次寫入,多次讀取的場景。對於上傳到hdfs上的檔案,不支援修改檔案。hadoop2.0雖然支援了檔案的追加功能,但不建議對hdfs上的檔案進行修改。因為效率低下.

不支援使用者的並行寫:同一時間內,只能有乙個使用者執行寫操作。

TiDB適用場景和不適用場景

一 tidb簡介 tidb 是 pingcap 公司受 google spanner f1 啟發而設計的開源分布式 htap hybrid transactional and analytical processing 資料庫,結合了傳統的 rdbms 和nosql 的最佳特性。tidb 相容 my...

TiDB 的適用場景和不適用場景

典型的oltp場景 當您需要對海量資料 數十億行 進行隨機 實時讀 寫訪問時 實時 htap 場景 實時htap 混合事務 分析處理 要是有乙個使用tidb的類似oltp的場景,並且希望在tiflash的幫助下原地進行 olap分析時,新鮮的資料,對oltp效能無干擾 資料整合 有多個資料來源時,可...

TiDB適用和不適用場景

tidb 的典型的應用場景是 1 原業務的 mysql 的業務遇到單機容量或者效能瓶頸時,可以考慮使用 tidb 無 縫替換 mysql。tidb 可以提供如下特性 2 大資料量下,mysql 複雜查詢很慢。3 大資料量下,資料增長很快,接近單機處理的極限,不想分庫分表或者使用資料庫中介軟體等對業務...