离线开发配置基础配置,目前主要包括内容:节点默认设置、离线同步专用队列、离线开发任务命名规范。

节点默认设置


代码模板

针对以下节点类型:SQL、Python、DB2、达梦、Doris、GaussDB、GPSQL、Oceanbase、SQLServer、StarRocks、TiDB、VerticaSQL、Shell、Perl,支持由项目负责人/管理员在配置管理-项目集群配置-基础配置-节点默认设置中设置节点代码模板。

设置代码模板后,该项目-集群下新增节点时代码默认填充此模板,不影响历史节点

代码模板支持变量 :${Author}、${CreateTime},分别表示节点的创建人的用户名和创建时间(变量值格式如:2025-01-01 00:00:00)。

基础配置 - 图1

“其他设置”默认设置

SQL节点和Python节点支持配置“其他设置”默认设置。

以SQL节点为例,该部分主要用于控制离线开发中,在任务中新加入的SQL节点,默认采用什么执行引擎以及针对不同引擎的下的默认配置。

  • 对于Spark引擎,支持默认运行方式、运行参数的设置,包括Driver内存、最大Executor数目以及Executor内存。

  • 对于Hive引擎,支持默认运行方式设置。

基础配置 - 图2

离线同步专用队列


该部分主要用于控制离线开发中,离线同步任务使用的队列。开启后,开发模式执行、线上调度、重跑、补数据执行时将使用该队列执行。此处的选项为适用场景包含离线同步的队列。

基础配置 - 图3

离线开发任务命名规范


该部分主要用于控制离线开发中,新建的任务需要遵循前缀和后缀命名规范,支持通过圈定不同的文件夹设置不同的规范约束。

基础配置 - 图4