hyper運算子 HyperLogLog 的使用

阿里雲深度優化雲資料庫 analyticdb for postgresql，除原生 greenplum database 功能外，還支援 hyperloglog，為網際網路廣告分析及有類似預估分析計算需求的行業提供解決方案，以便於快速預估 pv、uv 等業務指標。

建立 hyperloglog 外掛程式

執行如下命令，建立 hyperloglog 外掛程式：

create extension hll;

基本型別

執行如下命令，建立乙個含有 hll 欄位的表： create table agg (id int primary key,userids hll);

執行如下命令，進行 int 轉 hll_hashval： select 1::hll_hashval;

基本操作符

hll 型別支援 =、!=、<>、|| 和 #。 select hll_add_agg(1::hll_hashval) = hll_add_agg(2::hll_hashval);

select hll_add_agg(1::hll_hashval) || hll_add_agg(2::hll_hashval);

select #hll_add_agg(1::hll_hashval);

hll_hashval 型別支援 =、!= 和 <>。 select 1::hll_hashval = 2::hll_hashval;

select 1::hll_hashval <> 2::hll_hashval;

基本函式

hll_hash_boolean、hll_hash_smallint 和 hll_hash_bigint 等 hash 函式。 select hll_hash_boolean(true);

select hll_hash_integer(1);

hll_add_agg：可以將 int 轉 hll 格式。 select hll_add_agg(1::hll_hashval);

hll_union：hll 並集。 select hll_union(hll_add_agg(1::hll_hashval),hll_add_agg(2::hll_hashval));

hll_set_defaults：設定精度。 select hll_set_defaults(15,5,-1,1);

hll_print：用於 debug 資訊。 select hll_print(hll_add_agg(1::hll_hashval));

示例create table access_date (acc_date date unique, userids hll);

insert into access_date select current_date, hll_add_agg(hll_hash_integer(user_id)) from generate_series(1,10000) t(user_id);

insert into access_date select current_date-1, hll_add_agg(hll_hash_integer(user_id)) from generate_series(5000,20000) t(user_id);

insert into access_date select current_date-2, hll_add_agg(hll_hash_integer(user_id)) from generate_series(9000,40000) t(user_id);

postgres=# select #userids from access_date where acc_date=current_date;

?column?

9725.85273370708

(1 row)

postgres=# select #userids from access_date where acc_date=current_date-1;

?column?

14968.6596883279

(1 row)

postgres=# select #userids from access_date where acc_date=current_date-2;

?column?

29361.5209149911

(1 row)