hbase是乙個分布式的、面向列的開源資料庫,該技術**於 fay chang 所撰寫的google**"bigtable:乙個結構化資料的分布式儲存系統"。就像bigtable利用了google檔案系統(file system)所提供的分布式資料儲存一樣,hbase在hadoop之上提供了類似於bigtable的能力。hbase是apache的hadoop專案的子專案。hbase不同於一般的關聯式資料庫,它是乙個適合於非結構化資料儲存的資料庫。另乙個不同的是hbase基於列的而不是基於行的模式。
hadoop搭建環境:
l 虛擬機器作業系統: centos6.6 64位,單核,1g記憶體
l jdk:1.7.0_55 64位
啟動shell $ hbase shell
列出所有的表 hbase > list
建立名為mytable的表,含有乙個列族hb hbase > create ' mytable' , 'hb'
在『mytable』表的'first'行中的『hb:data』列對應的資料單元中插入位元組陣列『hello hbase』
hbase > put 'mytable' , 'first' , 'hb:data' , 'hello hbase'
讀取mytable表 『first』行的內容 hbase > get 'mytable' , 'first'
讀取mytable表所有的內容 hbase > scan 『mytable'
電信公司rowkey設計例項:
0.區域劃分:劃分100個區域,從00到99
callerid + 201703 :hashcode % 100 = 00 -99
1.rowkey設計:rno + callerid + calltime[201702011212] + calleeid + duration ,這個地方注意:rno 等於callerid + calltime 的一部分
2.聯絡歷史:
1)建立表:$hbase>create 'ns1:calllogs','f1'
2)建立單元測試。向表中新增資料。
結構化資料 半結構化資料 非結構化資料
結構化資料 即行資料,儲存在資料庫裡,可以用二維表結構來邏輯表達實現的資料 所謂半結構化資料,就是介於完全結構化資料 如關係型資料庫 物件導向資料庫中的資料 和完全無結構的資料 如聲音 影象檔案等 之間的資料,html文件就屬於半結構化資料。它一般是自描述的,資料的結構和內容混在一起,沒有明顯的區分...
結構化資料 半結構化資料和非結構化資料
本文 在實際應用中,我們會遇到各式各樣的資料庫如nosql非關聯式資料庫 memcached,redis,mangodb rdbms關聯式資料庫 oracle,mysql等 還有一些其它的資料庫如hbase,在這些資料庫中,又會出現結構化資料,非結構化資料,半結構化資料,下面列出各種資料型別 結構化...
結構化資料 半結構化資料和非結構化資料
結構化資料 半結構化資料和非結構化資料 結構化的資料是指可以使用關係型資料庫表示和儲存,表現為二維形式的資料。一般特點是 資料以行為單位,一行資料表示乙個實體的資訊,每一行資料的屬性是相同的。舉乙個例子 id name age gender 1 lyh 12 male 2 liangyh 13 fe...