hive正則查詢會不會走MapReduce

話題

話不多說，咱們直奔主題，我們都知道hive查詢過程中，一些類似select a from a;這樣的語句是不會觸發mapreduce的，但是最近在使用正則regexp做查詢時偶然發現了乙個新玩兒法。

不走mr寫法

正則匹配某個欄位的特定值時，在sql最後加乙個limit的限定，是不走mr的，如下：

select a,b 

from test_data
where acct_day='20190721' 
and b regexp 'abc|666|aaa' 
limit 10;

走mr的寫法

當去掉limit限制的時候，查詢整個分割槽的所有符合條件的資料，這時就會觸發mr計算，如下：

hive 簡單查詢不走mapreduce

在hadoop生態圈中屬於資料倉儲的角色。他能夠管理hadoop中的資料，同時可以查詢hadoop中的資料。本質上講，hive是乙個sql解析引擎。hive可以把sql查詢轉換為mapreduce中的job來執行。hive有一套對映工具，可以把sql轉換為mapreduce中的job，可以把sql中...

koa包教不包會

本人郵箱yq979292 163.com 1安裝 npm i koa router s const koa require koa newkoa router 例項化路由物件 const router require koa router var router newrouter router.ge...

Hive高階查詢

select基礎 cte和巢狀查詢 3 高階語句 4 關聯查詢 mapjoin 1 load移動資料 2 insert表插入資料 使用insert語句將資料插入表 分割槽 insert 支援overwrite覆蓋和into追加 hive支援從同乙個表進行多次插入 insert into中table關...