有個這樣的需求,我的hbase乙個表對應乙個省份人群資訊(儲存該省份的所有人群手機號碼),需要在5分鐘內能將全省的資料入庫到hbase中。其中該錶設計如下:
其中rowkey:基站標識+時間(yyyymmdd)
columnfamily:peofamily;
column:00/05/10/15...(每5分鐘時間片),一條rowkey對應12個列,即1小時有12個5分鐘
value:用逗號分隔的手機號碼(該字串大概有10w個**號碼)
family
rowkey(hashid+基站標識1+時間(yyyymmdd))
0005
1015
....
abaefgadilddd13131lac001ci0012020042421
13900000000,13900000001,13900000002,...
......
......
aeasfeolkmpar13131lac001ci0012020042422
13900000005,13900000006,13900000007,...
......
....
...
rowkey設計,滿足業務通過基站+時間查詢具體小時分鐘時間片人群詳情。
cloumn設計,標識5分鐘時間片資料
value設計,目前該設計是沒有設計的設計很low,可以考慮將value值壓縮,或者存放對應的hfile鏈結(或者偏移量),將實際人群詳情存放hdfs。
目前想通過其它設計方式重構該錶,尤其是value值設計,歡迎各位大神指導!
hbase資料模型
與nosql資料庫們一樣,rowkey是用來檢索記錄的主鍵。訪問hbase table中的行 訪問方式 a.通過單個row key訪問,b.通過row key的range 正則 c.全表掃瞄,rowkey是任意字串,最大長度 是 64kb,實際應用中長度一般為 10 100bytes,hbase內部...
Hbase資料模型
hbase 以表的形式儲存資料。表由行和列族組成。列劃分為若干個列族 row family 其邏輯檢視如下 幾個關鍵概念 1 行鍵 rowkey 行鍵是位元組陣列,任何字串都可以作為行鍵 表中的行根據行鍵進行排序,資料按照 row key 的位元組序 byte order 排序 儲存 所有對錶的訪問...
hbase資料模型
與nosql資料庫一樣,row key是用來檢索記錄的主鍵。訪問hbase table中的行,只有三種方式 1.通過單個row key訪問 2.通過row key的range 正則 3.全表掃瞄 row key行鍵 row key 可以是任意字串 最大長度 是 64kb,實際應用中長度一般為 10 ...