Hive部署UDF永久函式

2021-09-26 14:33:57 字數 665 閱讀 8360

1.將寫好的udf函式打包jar,並上傳到伺服器某個目錄。

2.替換hdfs內jar包

使用命令先刪除、後上傳。

hdfs dfs -rm -r  /udf/datamask-1.0-snapshot-jar-with-dependencies.jar 

hdfs dfs -put /home/webserver/jars/datamask-1.0-snapshot-jar-with-dependencies.jar /udf/

然後再檢查一下

hdfs dfs -ls /udf/
確認hdfs目錄中存在jar包

3.註冊函式 

開啟hive互動介面,輸入註冊函式的命令。

create function weekofyear_mkt as 'udf.mktweekofyearudf' using jar 'hdfs:///udf/datamask-1.0-snapshot-jar-with-dependencies.jar』;

hive的永久性udf函式

1 在開發工具中編輯實現函式的 完成之後編譯打包成jar包,上傳到主機 的 opt目錄下 2 在 上傳本地檔案medudf 0.0.1.jar到hdfs目錄 hivejar下 hadoop fs put opt medudf 0.0.1.jar hivejar 3 在hive命令列下執行語句,建立h...

hive 自定義udf函式註冊(永久註冊)

1.臨時註冊 1.匯入jar包 2.部署到hive的lib下。3.新增jar到hive的classpath 4.註冊臨時函式2.刪除註冊函式 drop temporary function helloworld 3.永久註冊函式 注意 永久註冊需要將jar包上傳到hdfs,否則在集群中執行的時候,會...

hive之udf函式開發

新增pom依賴,說明version要與環境一致,不然可能會因為版本不一致問題報錯 org.apache.hadoop hadoop common 2.7.3 org.apache.hive hive exec 1.2.1 具體測試 hive自定義函式 import org.apache.hadoop...