-- map數 通過調整maxsize的大小來控制map數，減少則增加map，增加則減少map。
set mapreduce.input.fileinputformat.split.maxsize=
100-- reduce數
set mapreduce.job.reduces =
*;
優化：hive分桶類似於mr的hashpartitioner。
mr的hashpartitioner是用key的hash值模除reducetask的數量分割槽，
hive的分桶是用指定欄位的hash值模除桶的數量分桶。
分桶表的優點在於方便隨機抽樣與join不會資料傾斜。
explain 檢視執行計畫。
mr shuffle 是什麼樣子？具體原理是什麼？為什麼要排序？
shuffle排序，按字典順序排序的，目的是把相同的的key可以提前一步放到一起。
shuffle是為了通過外排(外部排序)降低記憶體的使用量，防止reduce階段排序發生記憶體溢寫。
map的數量與輸入的檔案數、檔案大小、塊大小、塊數量以及split大小有關。
正確的reduce任務的個數應該是0.95或者1.75 *（節點數 ×mapred.tasktracker.tasks.maximum引數值）。
如果任務數是節點個數的0.95倍，那麼所有的reduce任務能夠在 map任務的輸出傳輸結束後同時開始執行。
如果任務數是節點個數的1.75倍，那麼高速的節點會在完成他們第一批reduce任務計算之後開始計算第二批 reduce任務。
資料倉儲是乙個儲存歷史資料，從公司業務維度與業務指標滿足業務需求的資料集合。
所以說資料倉儲應該死扣的是業務需求。
位元組跳動 推薦演算法工程師面經
作者是研二的學弟，和號主一樣都為非科班，但是實力不容小覷，頂住壓力早早地在提前批收割了大廠的offer，可以說是 神仙學弟 了，方向為機器學習 資料探勘 nlp，同時也對推薦系統具有強烈的興趣，如下僅為部分面經，牆裂歡迎各網際網路大佬來撩！7.2更新，晚上7點終於收到了意向書，不用再反覆刷郵箱了 6...
京東測試工程師面經分析
tcp ip是乙個協議簇，是乙個開放的協議標準，所有人都可以免費試用，並且是獨立於硬體和作業系統的。tcp ip協議是不區分網路硬體的，它在區域網，廣域網和網際網路中都被廣泛使用。tcp ip協議使用統一的網路位址分配的方案。網路中的每台電腦都具有唯一的ip位址。tcp ip協議是乙個標準的高層協議...
華為面經（機器視覺演算法工程師）
一面是技術面，面試官是根據你簡歷上的東西來問的，問專案，問的很細。建議 要對簡歷上的東西了解的非常透徹 簡歷上要體現你的工作量，體現你做了哪些東西 要有和崗位要求匹配的專案，如果沒有，建議自己根據崗位要求做一兩個作品 你要對你這個領域的最新成果，突破有所了解 你要對你這個領域的最新應用有所了解，以及...