author：pirate leo
myblog:
myemail: [email protected]
文中可能涉及到的api：
hadoop/hdfs:
hbase:
begin！
hbase的查詢實現只提供兩種方式：
1、按指定rowkey獲取唯一一條記錄，get方法（org.apache.hadoop.hbase.client.get）
2、按指定的條件獲取一批記錄，scan方法（org.apache.hadoop.hbase.client.scan）
實現條件查詢功能使用的就是scan方式，scan在使用時有以下幾點值得注意：
1、scan可以通過setcaching與setbatch方法提高速度（以空間換時間）；
2、scan可以通過setstartrow與setendrow來限定範圍。範圍越小，效能越高。
通過巧妙的rowkey設計使我們批量獲取記錄集合中的元素挨在一起（應該在同乙個region下），可以在遍歷結果時獲得很好的效能。
3、scan可以通過setfilter方法新增過濾器，這也是分頁、多條件查詢的基礎。
下面舉個形象的例子：
我們在表中儲存的是檔案資訊，每個檔案有5個屬性：檔案id（long，全域性唯一）、建立時間（long）、檔名（string）、分類名（string）、所有者（user）。
我們可以輸入的查詢條件：檔案建立時間區間（比如從20120901到20120914期間建立的檔案），檔名（「中國好聲音」），分類（「綜藝」），所有者（「浙江衛視」）。
假設當前我們一共有如下檔案：
內容列表 id
createtime
name
category
userid
120120902
中國好聲音第1期綜藝1
220120904
中國好聲音第2期綜藝1
320120906
中國好聲音外卡賽綜藝1
420120908
中國好聲音第3期綜藝1
520120910
中國好聲音第4期綜藝1
620120912
中國好聲音選手採訪
綜藝花絮27
20120914
中國好聲音第5期綜藝1
820120916
中國好聲音錄製花絮
綜藝花絮29
20120918
張瑋獨家專訪花絮3
1020120920
加多寶涼茶廣告
綜藝廣告
4這裡userid應該對應另一張user表，暫不列出。我們只需知道userid的含義：
1代表 浙江衛視； 2代表 好聲音劇組； 3代表 xx微博； 4代表 贊助商。
呼叫查詢介面的時候將上述5個條件同時輸入find(20120901,20121001,"中國好聲音","綜藝","浙江衛視")。
此時我們應該得到記錄應該有第1、2、3、4、5、7條。第6條由於不屬於「浙江衛視」應該不被選中。
我們在設計rowkey時可以這樣做：採用userid + createtime + fileid組成rowkey，這樣既能滿足多條件查詢，又能有很快的查詢速度。
需要注意以下幾點：
1、每條記錄的rowkey，每個欄位都需要填充到相同長度。假如預期我們最多有10萬量級的使用者，則userid應該統一填充至6位，如000001，000002...
2、結尾新增全域性唯一的fileid的用意也是使每個檔案對應的記錄全域性唯一。避免當userid與createtime相同時的兩個不同檔案記錄相互覆蓋。
按照這種rowkey儲存上述檔案記錄，在hbase表中是下面的結構：
rowkey（userid 6 + time 8 + fileid 6） name category ....
00000120120902000001
00000120120904000002
00000120120906000003
00000120120908000004
00000120120910000005
00000120120914000007
00000220120912000006
00000220120916000008
00000320120918000009
00000420120920000010
怎樣用這張表？
在建立乙個scan物件後，我們setstartrow(00000120120901)，setendrow(00000120120914)。
這樣，scan時只掃瞄userid=1的資料，且時間範圍限定在這個指定的時間段內，滿足了按使用者以及按時間範圍對結果的篩選。並且由於記錄集中儲存，效能很好。
然後使用singlecolumnvaluefilter（org.apache.hadoop.hbase.filter.singlecolumnvaluefilter），共4個，分別約束name的上下限，與category的上下限。滿足按同時按檔名以及分類名的字首匹配。
（注意：使用singlecolumnvaluefilter會影響查詢效能，在真正處理海量資料時會消耗很大的資源，且需要較長的時間。
在後續的博文中我將多舉幾種應用場景下rowkey的，可以滿足簡單條件下海量資料瞬時返回的查詢功能）
如果需要分頁還可以再加乙個pagefilter限制返回記錄的個數。
以上，我們完成了高效能的支援多條件查詢的hbase表結構設計。
——————————————————————————
by the way：
近期有時間會寫乙份sample補充在這篇博文裡，有需要的同學可以持續關注。
後續的幾篇關於hbase功能實現貼也陸續寫作中。
hbase資料實現定期定量刪除功能：article/details/7964859
hbase在處理中文字串時的問題：article/details/7957109
陸續補充中……
HBase條件查詢（多條件查詢）
author pirate leo myblog myemail codeevoship gmail.com 文中可能涉及到的api hadoop hdfs hbase begin！hbase的查詢實現只提供兩種方式 1 按指定rowkey獲取唯一一條記錄，get方法 org.apache.hado...
HBase條件查詢（多條件查詢）
author pirate leo myblog myemail codeevoship gmail.com 文中可能涉及到的api hadoop hdfs hbase begin！hbase的查詢實現只提供兩種方式 1 按指定rowkey獲取唯一一條記錄，get方法 org.apache.hado...
HBase條件查詢（多條件查詢）
author pirate leo myblog myemail codeevoship gmail.com 文中可能涉及到的api hadoop hdfs hbase begin！hbase的查詢實現只提供兩種方式 1 按指定rowkey獲取唯一一條記錄，get方法 org.apache.hado...