邏輯檢視
hbase以表的形式儲存資料。表有行和列組成。列劃分為若干個列族(row family)
row key
column-family1
column-family2
column-family3
column1
column1
column1
column2
column3
column1
key1
t1:abc
t4:dfads
t2:gdxdf
t3:hello
t2:world
key2
t3:abc
t4:dfads
t2:dfdsfa
t1:gdxdf
t3:hello
t3:dfdf
key3
t2:dfadfasd
t2:dfxxdfasd
t1:dfdasddsf
t1:taobao.com
row key
與nosql資料庫們一樣,row key是用來檢索記錄的主鍵。訪問hbase table中的行,只有三種方式:
1 通過單個row key訪問
2 通過row key的range
3 全表掃瞄
row key行鍵 (row key)可以是任意字串(最大長度是 64kb,實際應用中長度一般為 10-100bytes),在hbase內部,row key儲存為位元組陣列。
儲存時,資料按照row key的字典序(byte order)排序儲存。設計key時,要充分排序儲存這個特性,將經常一起讀取的行儲存放到一起。(位置相關性)
注意:字典序對int排序的結果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行鍵必須用0作左填充。
行的一次讀寫是原子操作 (不論一次讀寫多少列)。這個設計決策能夠使使用者很容易的理解程式在對同乙個行進行併發更新操作時的行為。
hbase不支援條件查詢和order by等查詢,讀取記錄只能按row key(及其range)或全表掃瞄,因此row key需要根據業務來設計以利用其儲存排序特性(table按row key字典序排序如1,10,100,11,2)提高效能。
列族
hbase表中的每個列,都歸屬與某個列族。列族是表的chema的一部分(而列不是),必須在使用表之前定義。列名都以列族作為字首。例如courses:history , courses:math 都屬於 courses 這個列族。
訪問控制、磁碟和記憶體的使用統計都是在列族層面進行的。實際應用中,列族上的控制許可權能幫助我們管理不同型別的應用:我們允許一些應用可以新增新的基本資料、一些應用可以讀取基本資料並建立繼承的列族、一些應用則只允許瀏覽資料(甚至可能因為隱私的原因不能瀏覽所有資料)。
時間戳
hbase中通過row和columns確定的為乙個存貯單元稱為cell。每個 cell都儲存著同乙份資料的多個版本。版本通過時間戳來索引。時間戳的型別是 64位整型。時間戳可以由hbase(在資料寫入時自動 )賦值,此時時間戳是精確到毫秒的當前系統時間。時間戳也可以由客戶顯式賦值。如果應用程式要避免資料版本衝突,就必須自己生成具有唯一性的時間戳。每個 cell中,不同版本的資料按照時間倒序排序,即最新的資料排在最前面。
為了避免資料存在過多版本造成的的管理 (包括存貯和索引)負擔,hbase提供了兩種資料版本**方式。一是儲存資料的最後n個版本,二是儲存最近一段時間內的版本(比如最近七天)。使用者可以針對每個列族進行設定。
cell
由 唯一確定的單元。cell中的資料是沒有型別的,全部是位元組碼形式存貯。
Hbase表的結構
邏輯檢視 hbase以表的形式儲存資料。表有行和列組成。列劃分為若干個列族 row family row keycolumn family1column family2column family3 column1column1column1column2column3column1 key1t1 a...
Hbase表的結構
邏輯檢視 hbase以表的形式儲存資料。表有行和列組成。列劃分為若干個列族 row family row keycolumn family1column family2column family3 column1column1column1column2column3column1 key1t1 a...
hbase複製表的結構 HBase 的表結構
hbase 是乙個nosql資料庫,用於處理海量資料,可以支援10億行百萬列的大表,下面就了解一下資料是如何存放在hbase表中的 為了更好的理解hbase表的思路,先回顧一下關聯式資料庫中表的處理方式 例如有乙個使用者表user info,有欄位 id name tel,表名和字段需要在建表時指定...