Hive當中實現pivot操作

0.背景

實際工作當中遇到這樣乙個問題，資料如下，但是我想通過sql將資料轉換成按列展示的形式，即常用的pivot透視操作。

# 原始資料 id item value 1 a 10 2 b 21 1 b 15 2 a 20 # 次級目標格式（sql） id itemvalue 1 a-10,b-15 2 a-20,b-21 # 目標格式 id item_a item_b（sql + python） 1 10 15

2 20 21

在pandas中有pivot以及pivot_table可以實現相關的功能。但是如果原始資料是在伺服器或者集群上，將原始資料pull到本地有時是乙個代價非常高的事情。並且如果可以通過sql實現pivot操作，在我們多表join的時候也會非常方便。

1.操作

需要用到的hive操作有，concat，concat_ws，collect_set，group by。

1.1 首先使用concat將item和value連線起來，concat(item, '-', value)。

a-10 b-20 b-15

a-20

1.2 利用collect_set進行去重（因為我們是通過group by進行的資料聚合，其他字段可能可以區分這些重複的資料，如下），並且將同屬於乙個id的值形成乙個set型別，方便concat_ws連線。

# 我們使用id進行group by，連線item和value會有重複，collect_set可以去掉這些重複的。 # 但是這個需要謹慎，如果other欄位也是重要的區分字段，把other也加入到group by的字段裡。 id item value other 1 a 10 x

1 a 10 y

1.3 使用concat_ws拼接，拼接的字元一般要和concat拼接那個不一樣。注意group by分組，這裡是group by id。也可以用多個字段進行group by。

資料結果如下：

id itemvalue 1 a-10,b-15

2 a-20,b-21

2.sql

select
id,concat_ws(',', collect_set(concat(item, '-', value)))
from test_table
group by id

3.最終格式

如果想要處理成pivot table那種形式，可以拉到本地進行一些處理。這樣做的主要好處是方便和其他表進行join。

4.reference