数据传输

版本：v3.18.0

新增功能

1.【离线】针对非Hadoop环境，离线同步任务的任务引擎支持DataX引擎

  • 功能介绍：
    • Hadoop环境下，离线同步任务引擎支持Spark引擎；非Hadoop环境下，离线同步任务引擎支持DataX引擎。
    • 任务引擎为DataX引擎时，支持的数据源类型包含：Doris、MySQL、Oracle、PostgreSQL、SQLServer、StarRocks、TeleDB。
  • 功能使用注意事项
    • 客户环境部署时，会根据客户环境部署相应环境的任务引擎。

2.【实时】数据去向支持StarRocks

  • 功能介绍：
    • 数据去向支持StarRocks，支持的版本为：1.19、2.4、3.2，支持的认证方式为：用户名密码认证

3.【离线】数据来源为FTP、协议为SFTP、文件格式为text、csv、excel、xml、json、dbf时，支持设置并发读取和并发数

  • 功能介绍：
    • 此前的版本中，数据来源为FTP、协议为SFTP时，为提升传输性能，结构化读取时默认会开启并发读取，每个文件会分别使用一个线程进行数据抽取。此版本进行了功能优化，文件格式为text、csv、excel、xml、json、dbf时，支持由用户设置是否开启并发读取，以及开启并发读取时的并发数。
    • 如读取多个FTP文件，开启并发读取开关后会使用多线程进行数据抽取，线程并发数由“并发数”配置指定；如读取单个FTP文件，只能使用单线程进行数据抽取，并发读取开关不生效。
    • 并发数的设置：如选择“文件数”，指每个文件会分别使用一个线程进行数据抽取；如选择“自定义”，实际线程并发数=min(文件数,填写的并发数)。
    • 此功能不影响历史任务，历史任务仍保持原设置：开启并发读取、并发数为文件数。
    • 如需针对平台内所有SFTP任务关闭并发读取，可联系技术支持在EasyOps进行全局配置：ndi.spark.spark-conf.spark.transmit.reader.ftp.sftpConnectionMultiplexing=true。
功能优化

1.【离线】数据去向为PostgreSQL时，写入规则支持copy

  • 功能介绍：
    • 数据去向为PostgreSQL时，写入规则支持copy（拷贝数据），大数据量时推荐使用。

2.【离线】数据来源为Clickzetta时，支持并发读取

  • 功能介绍：
    • 数据来源为Clickzetta时，支持并发读取。

3.【实时】数据去向为Kafka时，新建Topic功能放宽topic名称限制

  • 功能介绍：
    • 创建Topic时，原来会限制仅允许输入小写字母、数字、下划线、参数组参数，topic名称长度限制最多64个字符，导致部分情况下影响使用。此版本改为：允许输入大小写字母、数字、“_”、“-”、“.”、参数组参数。

数据标准

版本：v2.1.8

新增功能

1.提供查询所有项目组的标准目录接口，用于数据资产地图调用

  • 功能介绍

    • 提供查询所有项目组的标准目录接口，用于资产地图调用，方便资产地图超级项目组浏览所有项目组的资产目录

  • 注意事项

    • 仅超级项目组场景下会调用该接口

指标平台

版本：v2.2.1

新增功能
  1. 指标支持配置同环比，自动进行同环比分析；
  2. 指标支持监控预警，可对指标值及同环比值进行监控预警；
  3. 指标平台接入有数ChatBI，用户可对单指标进行智能问答分析；
功能优化
  1. 指标详情页增加趋势概览功能，展示指标数据随日期的波动趋势；
  2. 指标详情页-明细数据支持导出；

模型设计中心

版本：v1.9.2

新增功能

1.【Roadmap-AutoETL】离线开发SQL代码支持参数组

  • 功能介绍

    • 批量导入时，若选择的是“批量建表&离线开发任务（DWD、DWS、DIM、ADS）”模板，支持用户在Excel中填写离线开发模块中已创建的参数组参数，用于代替目标表的库名、表名等信息。导入Excel完成后，自动创建的离线开发SQL代码将直接引用参数组中的参数，用${param}显示，实际运行离线SQL任务时，会自动替换为参数组中定义的参数值。通过该功能，可以复用平台已定义的参数组功能。

  • 功能详细使用步骤

    • 首先在离线开发模块提前定义好参数组名称和参数值，然后在Excel模板中填写相关参数，Excel导入完成后查看自动创建的离线任务SQL即可看到参数例如${param}，运行SQL任务就能实现参数替换。

  • 注意事项

    • 仅“批量建表&离线开发任务（DWD、DWS、DIM、ADS）”和“批量建表&数据传输任务（ODS层）”两个模板支持引用参数组功能。

2.【Roadmap-AutoETL】ODS模板支持字段自定义表达式

  • 功能介绍

    • 支持用户对业务源表字段设置自定义表达式，作为ODS表的新字段，例如current_timestamp（） AS column1，column1即为ODS字段。

  • 功能详细使用步骤

    • 模型导入时下载“批量建表&数据传输任务（ODS层）”模板，在Excel模板的表结构设计sheet页中，填写是否自定义表达式，默认空则不是，如填写“是”，则需要填写对应的自定义表达式内容，Excel导入完成后系统会根据Excel内容进行建表和建数据传输任务。

  • 注意事项

    • 仅“批量建表&数据传输任务（ODS层）”模板支持设置字段自定义表达式。

3.【Roadmap-AutoETL】支持字段设置加工规则

  • 功能介绍

    • 批量导入场景下，支持在Excel模板中设置字段的加工规则，常用于字段计算。设置完成后生成的离线开发SQL代码会自动拼接加工逻辑。

  • 功能详细使用步骤

    • 导入时选择下载“批量建表&离线开发任务（DWD、DWS、DIM、ADS）”模板，在模板中可设置字段的加工规则，设置完成导入Excel后，系统会自动生成离线开发SQL加工代码。

  • 注意事项

    • 仅“批量建表&离线开发任务（DWD、DWS、DIM、ADS）”和“批量建表&数据传输任务（ODS层）”两个模板支持设置字段转换规则。
功能优化

1.ODS模板增加传输任务归属目录和检测条件

  • 功能介绍

    • 在“批量建表&数据传输任务（ODS层）”模板中，之前自动创建的传输任务不支持指定传输任务的目录位置，后面数据传输模块支持指定任务目录的功能后，模型导入的Excel模板中也适配支持指定任务目录的功能。

  • 功能详细使用步骤

    • “批量建表&数据传输任务（ODS层）”导入模板中支持设置传输任务的保存位置信息。

  • 注意事项

    • 仅“批量建表&数据传输任务（ODS层）”模板支持设置传输任务目录信息。

2.离线开发SQL代码支持格式化

  • 功能介绍

    • 之前导入Excel后生成的离线开发SQL代码没有自动格式化，导致查看SQL时可读性较差，故本次增加代码自动格式化功能，方便用户查看SQL。

  • 功能详细使用步骤

    • 上传“批量建表&离线开发任务（DWD、DWS、DIM、ADS）”模板并完成建表及建离线开发任务，然后查看离线开发模块中自动生成的SQL代码，即可查看到已经格式化的SQL代码。

  • 注意事项

    • 仅“批量建表&离线开发任务（DWD、DWS、DIM、ADS）”模板支持。

3.模板中Hive增加主键设置

  • 功能介绍

    • 之前Excel模板中没有指定字段是否主键的功能，本次模板中支持用户设置Hive字段是否为主键。

  • 功能详细使用步骤

    • 下载模板并设置字段是否主键。

  • 注意事项

    • 仅“批量建表&离线开发任务（DWD、DWS、DIM、ADS）”和“批量建表&数据传输任务（ODS层）”两个模板支持。

4.AutoETL相关模板的功能默认开放给所有数仓开发使用

  • 功能介绍

    • 之前AutoETL的“批量建表&离线开发任务（DWD、DWS、DIM、ADS）”和“批量建表&数据传输任务（ODS层）”两个模板功能是内测阶段，故功能默认没有放开给所有客户。本次将开放该功能给所有客户使用。

  • 功能详细使用步骤

    • 点击导入，即可查看AutoETL的“批量建表&离线开发任务（DWD、DWS、DIM、ADS）”和“批量建表&数据传输任务（ODS层）”两个模板并使用。

关系建模

版本：v1.0.0.2

功能优化
  1. 修复了已知Bug

离线开发&自助分析

版本：v7.7.1

新增功能

1.离线开发新增“触发器节点”

  • 功能介绍：
    • 触发器节点是新增的一种节点类型，用于解决和外部平台调度系统的调度信号触发。
    • 举例：某外部系统会进行数据准备，完成后，需要通知本平台的节点运行，则可以在本平台增加一个触发器节点，用于接受外部系统的触发信号，运行中的触发器节点接收到成功信号后，触发器节点会变为成功状态，下游任务也可以开始运行。
    • 目前支持手动创建，或接口创建的方式，具体的使用方式参见手册中“触发器节点”的使用说明。

2.离线开发任务支持通知下游

  • 功能介绍：
    • 离线开发任务支持对开发模式或线上模式的一级下游任务负责人发送通知；
    • 支持对任务整体或选中的节点的下游发送通知。

3.自助分析支持文件和文件夹移动目录

  • 功能介绍：
    • 自助分析的文件和文件夹新增了移动目录功能，支持直接拖动移动和右键移动。
    • 特别注意：“项目内共享文件夹”目前支持新建、查看、编辑、运行、下载等权限控制，文件移入或移出时，被移动文件会按照目标文件夹的权限重新授权。比如“项目内共享文件夹”下“文件夹2”对A授予了查看和编辑权限，“文件夹1”对A授予了查看、编辑和运行权限，则“文件夹1”下的“文件夹3”移动到“文件夹2”后，A用户不可再运行该文件夹下的任务。

4.离线开发等支持对接TDH底座（使用ArgoDB）

  • 功能介绍：
    • 当前版本新增了针对客户环境数据底座为TDH，使用ArgoDB共享Inceptor元数据场景下的适配。
功能优化

1.离线开发轮询节点设置中“成功标识”增加“结果为NULL”和“结果非NULL”的选项

  • 功能介绍
    • 原本的“成功标识”只有“有结果”和“固定值”，针对轮询结果为NULL和非NULL的细分场景，原本无法支持，此次新增了这2个选项

任务运维中心

版本：v1.14.1

功能优化

1.周期实例大盘的“未完成数”弹框中支持实例状态筛选

  • 功能介绍：
    • 未完成任务详情中增加了实例状态筛选，可筛选未运行、失败、就绪、终止等多种状态，方便针对某一类状态的实例进行统一处理。

2.任务补数据优化——支持层级筛选及任务高亮

  • 功能介绍：

    • 补数据时，支持快速过滤“血缘层数”，针对任务依赖复杂或深度较深的场景，可以快速精简血缘；
    • 点击节点，可以快速高亮上下游的任务连线，让任务见依赖关系更清晰。

  • 功能详细使用步骤：

    • a.功能入口：
      • 在补数据第二步选择上下游任务页面

3.任务补数据实例中支持显示“源头”标记

  • 功能介绍：

    • 补数据实例中，增加了补数据任务中选择的补数据源头任务的标记

  • 功能详细使用步骤：

    • a.功能入口：
      • 补数据实例运维具体补数据任务展开

版本：v1.13.1

功能优化

1.适配离线开发SQL节点支持选择Kyuubi集群的内容显示

2.适配离线开发嵌套流节点动态循环执行的内容显示

实时计算

版本：v4.5.0.1

功能优化
  1. 修复了已知Bug

数据资产地图

版本：v2.19.3

新增功能

1.超级租户全局资产目录汇总

  • 功能介绍

    • 在平台管理中设置为超级项目组的话，则超级项目组的成员在数据资产地图就可查看所有项目组的资产目录。

  • 详细操作步骤

    • 平台管理中给某个项目组设置为超级项目组，然后超级项目组的成员进入地图首页，就能看到全局所有项目组的资产目录。

  • 注意事项

    • 仅超级项目组可查看所有项目组的资产目录，普通项目组只能查看本项目组的资产目录。

2.适配TDH Inceptor表

  • 功能介绍

    • 平台默认底座是适配网易的NDH集群，该版本新增适配第三方的TDH集群，故数据资产地图的表和血缘均做了相关兼容适配

  • 注意事项

    • TDH集群需要前期部署时运维配置好

3.元数据采集、注册、治理、表搜索、表详情支持ClickHouse

  • 功能介绍

    • 数据资产地图新增适配ClickHouse表，具体功能包括：

      • 元数据采集、注册、治理、发布流程支持ClickHouse表
      • 元数据导入导出支持ClickHouse表
      • 地图表搜索、表详情支持ClickHouse表
      • 我收藏、浏览、订阅的表支持ClickHouse表

  • 详细操作步骤

    • 进入地图可搜索查看ClickHouse表
功能优化

1.告警通知渠道对接告警中心

  • 功能介绍

    • 之前告警渠道可选范围比较固定，没有和告警中心支持的渠道打通。本次优化后，告警渠道统一取自告警中心配置的告警渠道。

2.查看表详情时，当前用户所处的项目不跟随表所属项目而变更

  • 功能介绍

    • 之前用户查看某项目的表，右上角所处的项目也会自动切换为表所属项目，不符合用户预期，本次优化后用户右上角所处项目不会随着表所属项目变化而变化，用户需要切换项目时可自主切换，系统不会主动切换用户的当前项目。

3.数仓表导引增加达梦和GaussDB，保持和模型设计一致

  • 功能介绍

    • 数仓表导引增加达梦和GaussDB表类型

数据服务

版本：v1.8.2.1

功能优化
  1. 修复了已知Bug