INFO-dqc形态探查和数据比对指定spark版本

INFO-dqc形态探查指定spark版本

适用模块
数据质量中心---->形态探查----->数据比对
具体说明
用户在配置dqc形态探查默认跑的版本是spark2的版本
可以配置参数指定spark版本
使用示例
INFO-dqc形态探查指定版本 - 图1
配置参数 azkaban.easydqc.engine.spark.version 添加后指定spark版本
例如 azkaban.easydqc.engine.spark.version 3.1.1 后续的版本号要写全
INFO-dqc形态探查指定版本 - 图2
具体使用说明

作者:chenjie