INFO-pyspark 添加依赖包

适用模块

离线开发

具体说明

pyspark 添加依赖包

使用示例 INFO-pyspark 添加依赖包 - 图1

1.在资源信息上传相关包

INFO-pyspark 添加依赖包 - 图2

2.添加相关jar包,在节点属性里面conf.spark.yarn.dist.jars     graphframes-0.7.0-spark2.3-s_2.11.jar,scala-logging-api_2.11-2.1.1.jar,scala-logging_2.11-3.1.0.jar,scala-logging-slf4j_2.11-2.1.1.jar

INFO-pyspark 添加依赖包 - 图3

3、或者直接依赖

INFO-pyspark 添加依赖包 - 图4

4、多级依赖

INFO-pyspark 添加依赖包 - 图5

INFO-pyspark 添加依赖包 - 图6

INFO-pyspark 添加依赖包 - 图7 可以通过,隔开加载多级目录的py文件 主要原因是:azkaban 部署目录和 实例id没法写死 也不能通过os加载到对应的文件

作者:林帅