什麼情況下hive可以避免進行mapreduce
hive 為了執行效率考慮，簡單的查詢，就是只是select，不帶count,sum,group by這樣的，都不走map/reduce，直接讀取hdfs目錄中的檔案進行filter過濾。
sql select * from employee;
sql select * from order_partition where month=『2020-05』;
此外，如果設定屬性 set hive.exec.mode.local.auto=true; hive還是會嘗試使用本地模式。
1、直接查詢表的資料 不會進行mapreduce。
2、查詢語句中的過濾條件只是分割槽欄位的情況下 不會進行mapreduce。
hive表中間資料壓縮
Hive中Join的 MR 底層原理
hive中的join可分為common join reduce階段完成join 和map join map階段完成join 如果不指定mapjoin或者不符合mapjoin的條件，那麼hive解析器會將join操作轉換成common join,即 在reduce階段完成join.整個過程包含map ...
專案中應該避免的情況
1.測試過程中不加思考的機械性測試執行。測試就像建築一樣，先打好圖紙，然後在施工。測試的過程中應該多思考，而不是悶頭呆板的執行。測試的過程中，雖然我們巨集觀上有三輪的指導，但是我們應該將任務加以細化，具體到功能模組，每天分配合理的任務量。2.自以為正確 專案測試的過程中遇到自己解決不了，不確定的事情...
死鎖的情況和避免方法
在多執行緒併發中，就會遇到死鎖的情況。死鎖的乙個定義就是 一組互相競爭資源的執行緒因互相等待，導致永久阻塞的現象。比如一組操作需要同時獲取兩個鎖1,2，執行緒a執行緒獲取鎖1的同時，執行緒b同時獲取鎖2，那麼執行緒1,2同時去獲取對方的鎖，而雙方本身都又在等待多方的鎖，那麼就陷入乙個無限的死迴圈中，...