好程式設計師大資料培訓分享 HBase知識點集中總結

2021-10-06 18:35:15 字數 830 閱讀 1081

hfile, hbase中keyvalue資料的儲存格式,hfile是hadoop的二進位制格式檔案,實際上storefile就是對hfile做了輕量級包裝,即storefile底層就是hfile。

hlog file,hbase中wal(write ahead log) 的儲存格式,物理上是hadoop的sequence file。

三、hbase工作機制

hbase工作機制詳細解析:

1、hbase的整體工作機制是接受客戶端發來的請求命令,從hdfs中讀取表檔案資訊返回給客戶端;

2、每個hbase伺服器負責表檔案中對應region區域,hdfs上表檔案的儲存也是分為每個region單獨儲存,每個region中又分為多個列族儲存;

3、hbase集群中有兩種角色,regionserver和master,regionserver負責響應客戶端請求,讀取表檔案;

master負責監控regionserver的狀態,以便及時處理掉線的regionserver,保證hbase集群正常執行;當乙個region掛掉時,master會及時監控到,這裡利用了zookeeper管理regionserver狀態資訊。

當乙個master掛掉時,不會影響客戶端查資料,但如果此時regionserver掛掉,master又不能及時監控到,便會影響資料查詢;解決方法就是再設定一台master,一台active狀態,一台standby狀態用作備用,當active的master掛掉,standby的master將會變為active狀態,監控regionserver。

4、master和zookeeper就組成了高可用。

大資料開發之路不易,大家且行且珍惜。好程式設計師精心打造大資料學習路線,為大家的學習保駕護航。

好程式設計師大資料培訓技術分享 Hadoop集群同步

好程式設計師 分享 hadoop集群同步 分享 是技術突飛猛進的很好體驗 在 好程式設計師 學習大資料技術 開始學會了分享,班裡五十個人,每個人就能得到49份不同技術 每次到分享的時刻,總會收穫不同的想法.一 同步方式 選擇乙個機器,作為時間伺服器 這裡選擇hadoop01 所有的機器與這台集群時間...

好程式設計師大資料培訓分享Redis與Kafka的區別

好程式設計師大資料培訓分享redis與kafka的區別,kafka與redis pub sub之間較大的區別在於kafka是乙個完整的系統,而redis pub sub只是乙個套件 utility 沒有冒犯redis的意思,畢竟它的主要功能並不是pub sub。另外一點,redis 發布訂閱除了表示...

好程式設計師分享自學大資料入門乾貨

首先,提及大資料一詞的概念。大資料本質還在於資料,但是它有著新的特徵亮點。包括 資料 廣,資料格式多樣化 結構化資料 非結構化資料 excel檔案 文字檔案等 資料量大 最少也是tb級別的 甚至可能是pb級別 資料增長速度快等等。擴充套件講大資料的4個基本特徵,我們將進行下面額思考 1.資料 廣?廣...