INFO-数据开发中，SQL节点如何导入UDF

功能说明

适用模块

离线开发
自助分析

具体说明

中台离线开发使用udf，也适用自助分析

使用示例 udf 开发示例参考如下： https://study.sf.163.com/documents/read/service_support/dsc-p-q-0110

1. Hive执行 1.1 hive-jdbc 模式 将udf.jar包上传到项目hdfs中
   

先add jar (HDFS全路径：hdfs://hz-clusterx/xxx/udf.jar)，再创建udf

1.2 hive-client 模式
将udf.jar包上传到项目任务资源中

先add jar (jar包相对路径 ./udf.jar)，再创建udf

1. Spark执行
   2.1 spark-client 模式
   将udf.jar包上传到项目任务资源中；
   
   
   在SQL节点的其他设置中，选择 spark-client 运行方式，无需另外指定jar包；
   
   SQL中无需add jar，直接创建udf既可。
   

2.2 spark-cluster 模式
方式一：

将udf.jar包上传到项目任务资源中；


在SQL节点的其他设置中，选择 spark-cluster运行方式，在节点属性中，添加节点属性： 属性：jars 值：./UDF-1.0-SNAPSHOT.jar

1. SQL中无需add jar，直接创建udf既可。

方式二：

将udf.jar包上传到项目hdfs中

在SQL节点的其他设置中，选择 spark-cluster 运行方式，添加节点属性： 属性：conf.spark.yarn.dist.jars 值：jar包在hdfs中的全路径；

SQL中无需add jar，直接创建udf既可。

作者：qianzhaoyuan@corp.netease.com