Hbase儲存座標資料設計

2021-09-28 16:50:59 字數 600 閱讀 3034

1、設計方案:

由於hbase是列式儲存的資料庫,而索引主要靠行健rowkey,所以對錶設計的相關問題主要考慮行健設計。考慮到座標資料實時儲存問題,由於是每隔一段時間進行座標資料的推送和儲存,所以行健設計採用:訂單短號+時間戳設計的方式,一方面可以保證行健的唯一性,另一方面可以便捷的進行資料的查詢。為了保證hbase座標資料的查詢,可以借助mysql關係型資料庫的輔助作用,用mysql來儲存軌跡資料對應的訂單號與時間等要素,這樣做的好處是可以用mysql查詢儲存的日誌,以及借助mysql搜尋訂單對應的時間,用訂單號和時間組合成行健進行hbase資料查詢。

2、具體表設計:

mysql表設計:

hbase表設計:

3、查詢軌跡資料方法:

根據訂單號搜尋mysql,查詢當前訂單號對應的資料。

訂單號跟時間戳組合的行健在查詢時候,可以設定startkey和endkey範圍查詢;或者根據list去查詢資料,兩種方法皆可以實現。

若查詢涉及到其他要素,也就是其他列,可以利用二級索引進行增加索引表,便於查詢,要看具體的應用場景。

HBase資料儲存

hbase的資料檔案都儲存在hdfs上,格式主要有兩種 hfile hbase中keyvalue資料的儲存格式,hfile是hadoop的二進位制檔案,實際上storefile就是對hfile做了輕量級的包裝,即storefile底層就是hfile hlog file hbase中wal write...

HBASE 資料儲存實踐

hbase 來自hadoop database 是乙個很好的bigtable的實現,能夠儲存上百億行和百萬列的資料,是乙個高可靠性 高效能 面向列 可伸縮的分布式儲存系統。hbase的基本架構組成如下 hbase使用zookeeper作為協調服務,每個時刻只有乙個hmaster在執行,hmaster...

Hadoop資料儲存 Hbase

大家都知道hadoop是乙個資料庫,其實說的的就是hbase。它和我們平常理解的關係型資料庫有什麼區別呢?1.它是nosql的,它沒有sql的介面,有自己的一套api。通過以上描述,我們分析一下hbase的特點 1 儲存海量資料 pb 2 高吞吐 每秒每個節點上千次寫 3 適合處理稀疏資料 半結構化...