hive中的UDAF的使用流程記載

2021-10-13 18:23:25 字數 795 閱讀 4182

元件版本

hadoop3.1.2

zookeeper3.6.0

mysql8.0.22-0ubuntu0.20.04.2

hive2.3.7

以[2]中的例子三為準

zhong

註冊命令(hive/beeline中進行)備註

指明自定義依賴包

create temporary function sum_test as 'udafsum_sample';

依賴包中的類udafsum_sample註冊為sum_test

hive命令實驗結果備註

use db1;

select sum_test(sales_info_new.sku_id) from sales_info_new;

+---------+

|   _c0   |

+---------+

| 7165.0  |

+---------+無

完整**:

reference:

[1]udaf實現乙個自定義的求和函式

[2]hive中操作struct與map三例

搭建hive的流程

搭建hive的流程 1.先裝mysql 修改mysql登入許可權 2.解壓hive,需要將mysql的驅動包拷貝到hive的利用目錄彙總,修改hive的配置檔案,hive site.xml的檔案中 連線資料庫的四個屬性 首先安裝mysql yum install mysql server y 服務端...

Hive中UDF的使用

udf user defined function 是對hive自帶函式的一種補充,並極大擴充了hql的作用範圍,不僅使 更加簡潔,也減少了很多重複工作,提高任務執行效率。udf.rank 該函式用於分組limit輸出,如 拉取每個使用者的前100條語料 需要對使用者cuid進行分組後,再分別取每組...

hive中grouping sets的使用

關於grouping sets的使用,我是參考這篇部落格學習的,感覺講的很清楚 鏈結 通俗的說,grouping sets是一種將多個group by 邏輯寫在乙個sql語句中的便利寫法。select a,b,c,group id,count a from tablename group by de...