运行设置
更新时间: 2024-12-03 11:25:35
阅读 13
离线开发配置的基础配置,目前主要包括内容:SQL节点默认设置、离线开发提交控制、离线开发任务命名规范、python节点默认设置。
SQL节点默认设置
该部分主要用于控制离线开发中,在任务中新加入的SQL节点,默认采用什么执行引擎以及针对不同引擎的下的默认配置。
对于Spark引擎,支持默认运行方式、运行参数的设置,包括Driver内存、最大Executor数目以及Executor内存。
对于Hive引擎,支持默认运行方式设置。
离线开发队列控制
该部分主要用于控制离线开发中,离线同步任务使用的队列。开启后,开发模式执行、线上调度、重跑、补数据执行时将使用该队列执行。此处的选项为适用场景包含离线同步的队列。
离线开发任务命名规范
该部分主要用于控制离线开发中,新建的任务需要遵循前缀和后缀命名规范,支持通过圈定不同的文件夹设置不同的规范约束。
python节点默认设置
针对已安装python环境的项目-集群下,可设置python节点的默认环境。在离线开发中使用python节点时会自动使用此处配置的版本。
质量监控默认设置
默认Spark版本主要用于节点配置质量监控时,质量监控的默认Spark版本。 此外,“线上模式执行质量监控任务”开关可用于控制离线开发任务线上调度时,所配置的数据质量监控任务是否执行。为开,则在调度执行时会执行质量监控任务;为关,则在调度执行时不会执行质量监控任务。修改后,仅对未来生成的实例生效。
文档反馈
以上内容对您是否有帮助?