通过Spark UI 定位任务失败原因

适用模块

spark
离线开发

具体说明

pyspark客户端连接集群

使用示例

kerberos认证
shell
kinit -kt /home/qianzhaoyuan/qianzhaoyuan.keytab bdms_qianzhaoyuan/dev@BDMS.163.COM
hadoop客户端环境
shell
export HADOOP_CONF_DIR=/home/bdms/hdfs/default_hdfs/client/*/config/

提交到集群队列
shell
/home/bdms/spark2/default_spark2/client/*/current/bin/pyspark --master yarn --name testpyspark --queue root.hangkong.default --deploy-mode client

作者：林帅