INFO-pyspark 添加依赖包

适用模块

离线开发

具体说明

pyspark 添加依赖包

使用示例 INFO-pyspark 添加依赖包 - 图1

1.在资源信息上传相关包

INFO-pyspark 添加依赖包 - 图2

2.添加相关jar包,在节点属性里面conf.spark.yarn.dist.jars     graphframes-0.7.0-spark2.3-s_2.11.jar,scala-logging-api_2.11-2.1.1.jar,scala-logging_2.11-3.1.0.jar,scala-logging-slf4j_2.11-2.1.1.jar

INFO-pyspark 添加依赖包 - 图3

3、或者直接依赖

INFO-pyspark 添加依赖包 - 图4


作者:林帅