大資料基礎之HBase HBase物理架構解析

2021-10-09 22:36:43 字數 588 閱讀 9439

regionserver負責管理和維護region,負責儲存hbase的實際資料。

hregion 可以看成是表的橫向切分,hbase 表的分片,hbase 每個表都會根據 rowkey 值被切分成不同的 hregion 分散儲存在 hregionserver 中,在乙個hregionserver 中可以有多個不同的 hregion。這些 hregion 可以是來自不同的表。hregion、table、hregionserver 關係如下面的圖所示。

每乙個 region 內部,又分為多個 store,乙個 store 對應表中的乙個列族。也就是說乙個 store 儲存了對應錶該列族下的部分資料。

顧名思義,就是記憶體儲存,位於記憶體中,用來儲存當前的資料操作,所以當資料儲存在 wal 中之後,hregsionserver 會在記憶體中儲存鍵值對。該元件功能可以看該文件《讀流程》和《寫流程》部分進行更深刻的理解。

這是在磁碟上儲存原始資料的實際的物理檔案,是實際的儲存檔案。storefile是以 hfile 的形式儲存在 hdfs 的。檔案內容是二進位制。

大資料Python基礎之Series資料結構學習

1.series是在pandas庫 現的資料結構,適用於科學計算。每個series物件實際上都有兩個互相關聯的陣列組成,其中主陣列用來存放資料,主陣列的每個元素都有乙個與之相關聯的標籤,這些標籤儲存在另乙個叫作index的陣列中,如果不指定索引,預設生成的索引是0到n 1。通過series物件的va...

大資料基礎

hadoop是提供分布式的儲存 乙個檔案被拆分成很多個快,並且以副本的反式儲存在各個節點中 和計算。分布式檔案系統 hdfs實現將檔案分布式儲存在很多的伺服器上。hdfs特點 擴充套件性 容錯性 海量數量儲存 工作機制 將檔案切分為指定大小的資料塊並以多副本儲存在多個機器上。資料切分 多副本 容錯等...

大資料基礎

三次浪潮 資訊處理,資訊傳輸,資訊 運營式系統階段,使用者原創內容階段,感知式系統階段 萌芽期,成熟期,大規模應用期 2010年後 大資料概念 資料量大 volume 資料型別多 vareity 結構化資料和非結構化資料 處理速度快 velocity 價值密度低 value 大資料影響 科學研究 實...