Hive 十七排序

order by 會對輸入做全域性排序，因此只有乙個reducer（多個reducer無法保證全域性有序）

只有乙個reducer，會導致當輸入規模較大時，需要較長的計算時間。

set hive.mapred.mode=nonstrict; (default value / 預設值)

set hive.mapred.mode=strict;

order by 和資料庫中的order by 功能一致，按照某一項 & 幾項排序輸出。

與資料庫中 order by 的區別在於在hive.mapred.mode = strict 模式下必須指定 limit 否則執行會報錯。

hive> select * from test order by id;

failed: error in semantic analysis: 1:28 in strict mode, if order by is specified, limit must also be specified. error encountered near token 'id'

原因：在order by 狀態下所有資料會到一台伺服器進行reduce操作也即只有乙個reduce，如果在資料量大的情況下會出現無法輸出結果的情況，如果進行 limit n ，那只有 n * map number 條記錄而已。只有乙個reduce也可以處理過來。

sort by不是全域性排序，其在資料進入reducer前完成排序.

因此，如果用sort by進行排序，並且設定mapred.reduce.tasks>1，則sort by只保證每個reducer的輸出有序，不保證全域性有序。

sort by 不受 hive.mapred.mode 是否為strict ,nostrict 的影響

sort by 的資料只能保證在同一reduce中的資料可以按指定字段排序。

使用sort by 你可以指定執行的reduce 個數（set mapred.reduce.tasks=）,對輸出的資料再執行歸併排序，即可以得到全部結果。

注意：可以用limit子句大大減少資料量。使用limit n後，傳輸到reduce端（單機）的資料記錄數就減少到n* （map個數）。否則由於資料過大可能出不了結果。

按照指定的字段對資料進行劃分到不同的輸出reduce / 檔案中。

insert overwrite local directory '/home/hadoop/out' select * from test order by name distribute by length(name);

此方法會根據name的長度劃分到不同的reduce中，最終輸出到不同的檔案中。

length 是內建函式，也可以指定其他的函式或這使用自定義函式。

cluster by 除了具有 distribute by 的功能外還兼具 sort by 的功能。

但是排序只能是倒序排序，不能指定排序規則為asc 或者desc。

Hive 十七 排序