測試環境 hadoop 0.20.2版本、hive-0.5.0版本、jdk1.6
1、一般來說我們對hive的操作都是通過cli來進行,也就是linux的控制台,但是,這樣做本質上是每個連線都存放乙個元資料,各個之間都不相同,所以,對於這樣的模式我建議是用來做一些測試比較合適,並不適合做產品的開發和應用。
2、jdbc連線的方式,當然還有其他的連線方式,比如odbc等, 這種方式很常用,可以在網上隨便找到,就不再累贅了。
3、這種方式是直接利用hive的 driver class 來直接連線,感覺這種方式不通過jdbc,應該速度會比較快一點(未經驗證)。我只是在local模式下測試過。
import org.apache.hadoop.hive.conf.hiveconf;
import org.apache.hadoop.hive.ql.driver;
import org.apache.hadoop.hive.ql.session.sessionstate;
public class test catch(ioexception e)
driver.close();
system.out.println(driver.getmaxrows());
try catch(exception e)
// system.out.println(res);
// system.out.println(ret);}}
Hive的幾種排序方式
記錄hive的幾種常見的排序方式 order by 普通排序,通過order對欄位進行降序或者公升序 select from emp order by sal sort by 對每乙個reduce的結果進行排序,為了看出效果,我們多設定幾個reduce,檢視每個reduce的結果是否是排序的。set...
hive幾種join方式
hive處理表關聯時由於資料量以及資料傾斜等問題會導致計算效能差甚至任務失敗,下面記錄一下hive的幾種關聯方式。普通連線,在sql中不特殊指定連線方式使用的都是這種普通連線。缺點 效能較差 優點 操作簡單,普適性強 map端連線,與普通連線的區別是這個連線中不會有reduce階段存在,連線在map...
hive的beeline連線方式
補充 關於後台執行任務的一些補充 1.這個用在乙個命令的最後,可以把這個命令放到後台執行 2.ctrl z 可以將乙個正在前台執行的命令放到後台,並且暫停 3.jobs 檢視當前有多少在後台執行的命令 4.fg 將後台中的命令調至前台繼續執行 如果後台中有多個命令,可以用 fg 後台程序號,將選中的...