二(2) hive報錯記錄

2021-09-12 20:31:12 字數 1189 閱讀 3509

1、hue上hive執行一大段hql語句(hql語句大),報錯:

unable to acquire implicit, exclusive lock tmp_net@tmp_flow_advertising_view_flo after 100 attempts.

failed: error in acquiring locks: locks on the underlying objects cannot be acquired. retry after some time

hive鎖表問題:

發現表dm_net.dm_flow_advertising_view_2被鎖了,是互斥鎖exclusive,

在hive裡面執行解鎖命令:unlock table dm_net.dm_flow_advertising_view_2 partition(part_dt=「2019-04-11」);

但是報錯:

failed: execution error, return code 1 from org.apache.hadoop.hive.ql.exec.ddltask. partition  for table dm_net.dm_flow_advertising_view_2 does not exist
查表的時候發現有這個分割槽,不明白為什麼報找不到。

最後解決方法:

刪掉表dm_net.dm_flow_advertising_view_2,然後再新建表,新增分割槽partittion(part_dt=「2019-04-11」),再解鎖,就成功了。

3、linux下hive執行兩個hql指令碼,報錯:

unable to acquire implicit, exclusive lock ods_auth@ods_auth_dept_sx after 100 attempts.

failed: error in acquiring locks: locks on the underlying objects cannot be acquired. retry after some time

b表需要通過查詢a表獲得,但是a表裡面的排他鎖還沒釋放。

解決辦法:指令碼重跑一段時間範圍資料時設定 sleep 間隔,避免長期持有鎖,造成依賴表的任務排程失敗。

2 hive匯入 匯出 刪除

一 hive的幾種常見的資料匯入方式 插入過程中,不做源資料檢測,即 什麼資料都可以插入,只是查詢時會報空值 這裡介紹四種 1 從本地檔案系統中匯入資料到hive表 2 從hdfs上匯入資料到hive表 3 從別的表中查詢出相應的資料並匯入到hive表中 4 在建立表的時候通過從別的表中查詢出相應的...

Hive 隨談(二) Hive 結構

hive 的結構如圖所示,主要分為以下幾個部分 使用者介面主要有三個 cli,client 和 wui。其中最常用的是 cli,cli 啟動的時候,會同時啟動乙個 hive 副本。client 是 hive 的客戶端,使用者連線至 hive server。在啟動 client 模式的時候,需要指出 ...

Hive 結構 筆記2

hive 的結構如圖所示,主要分為以下幾個部分 使用者介面主要有三個 cli,client 和 wui。其中最常用的是 cli,cli 啟動的時候,會同時啟動乙個 hive 副本。client 是 hive 的客戶端,使用者連線至 hive server。在啟動 client 模式的時候,需要指出 ...