大資料面試題記錄

1、用空間換時間，通過大量的預處理來提公升應用系統的使用者體現(效率)，因此資料倉儲會存在大量冗餘的資料。

2、如果不分層的話，如果源業務系統的業務規則發生變化將會影響整個資料清洗過程，工作量巨大。

3、通過資料分層管理可以簡化資料清洗的過程，因為把原來一步的工作分多個步驟去完成，相當於把乙個複雜的工作拆成了多個簡單的工作，把乙個黑盒變成了乙個白盒，每一層的處理邏輯都相對簡單容易理解，這樣我們比較容易保證每乙個步驟的正確性，當資料發生錯誤的時候，往往我們只需要區域性調整某個步驟即可。

1、將json以字串的方式整個入hive表，然後通過使用udf函式解析已經匯入到hive中的資料，比如使用latreal view json_tuple的方法，獲取所需要的列名。

2、在匯入之前將json拆成各個字段，匯入hive表的資料是已經解析過得。這將需要使用第三方的serde

order by 會對輸入做全域性排序，因此只有乙個reducer （多個reducer無法保證全域性有序）只有乙個reducer，會導致當輸入規模較大時，需要較長的計算時間。

sort by 不是全域性排序，其在資料進入reducer前完成排序。因此，如果用sort by 進行排序，並且設定mapred.reduce.tasks>1，則sort by 只保證每個reducer的輸出有序，不保證全域性有序。