hive本地模式和遠端模式

2021-07-24 16:15:46 字數 621 閱讀 3072

1.內嵌模式,特點是:hive服務和metastore服務執行在同乙個程序中,derby服務也執行在該程序中。

該模式無需特殊配置,參見老虎ppt即可。

2.本地模式,特點是:hive服務和metastore服務執行在同乙個程序中,mysql是單獨的程序,可以在同一臺機器上,也可以在遠端機器上。

該模式只需將hive-site.xml中的connectionurl指向mysql,並配置好驅動名、資料庫連線賬號即可:

3.遠端模式,特點是:hive服務和metastore在不同的程序內,可能是不同的機器。

該模式需要將hive.metastore.local設定為false,並將hive.metastore.uris設定為metastore伺服器uri,如有多個metastore伺服器,uri之間用逗號分隔。metastore伺服器uri的格式為thrift://hostort

hive.metastore.uris

thrift:

把這些理解後,大家就會明白,其實僅連線遠端的mysql並不能稱之為「遠端模式」,是否遠端指的是metastore和hive服務是否在同一程序內,換句話說,「遠」指的是metastore和hive服務離得「遠」

hive本地模式

看hive資料會看到hive本地模式這個介紹,下面是查詢網上資料後的一些整理 大多數的hadoop job是需要hadoop集群來處理大資料的,不過,有時hive的輸入資料量是非常小的。在這種情況下,為查詢執行任務的時間消耗可能會比實際job的執行時間要多的多,因此hive0.7版本後hive開始支...

hive 開啟本地模式

先講乙個hive使用的乙個小技巧。對於使用慣了oracle資料庫的人來說,hive中沒有dual啊,想驗證一些函式的執行結果很是麻煩。比如我們在oracle資料庫裡面可以寫select 1 2 from dual可以返回3。為了保證使用習慣,我們類似的在hive中也建一張dual表 create t...

hive開啟本地模式執行

先講乙個hive使用的乙個小技巧。對於使用慣了oracle資料庫的人來說,hive中沒有dual啊,想驗證一些函式的執行結果很是麻煩。比如我們在oracle資料庫裡面可以寫select 1 2 from dual可以返回3。為了保證使用習慣,我們類似的在hive中也建一張dual表 create t...