新增功能

数据质量中心(2.9.0)

子版本号2.9.0
1.新增异常数据存储功能

  • 功能介绍:在质量监控新建/编辑质量规则时,新增异常数据存储配置,支持储存异常数据样本开关、结果储存位置配置,通过该功能可将异常数据存储到指定的库表中,异常结果表的每个分区都存放一次任务执行的异常数据。
  • 注意事项:1)数据源类型仅支持Hive;2)导入导出不导入此部分信息。
  • 功能界面及使用步骤:
    • 新建/编辑规则,针对单条规则配置是否存储异常数据样本
      • 字段级模板规则(采样方式 为 规则命中行数/ 规则命中唯一行数 )、标准推荐规则、表级模板规则主键唯一性,异常数据将默认存储到任务指定的库表位置中。
        EasyData-V6.5.0-Update2.4 - 图1
      • 跨字段级、跨表级规则异常数据支持指定存储库,每次执行结束将新建表存储。
        EasyData-V6.5.0-Update2.4 - 图2
      • 自定义SQL规则、自定义字段规则,可以复用任务的库、表,支持用户快速创建表。(用户自行创建的表字段需与异常数据SQL的字段保持一致且必须含有dqc_rule_id,dqc_rule_description两个字段;开启异常存储后,异常数据SQL需增加${dqc_rule_id}, ${dqc_rule_description}两个字段,否则会导致异常SQL字段和表字段校验失败)
        EasyData-V6.5.0-Update2.4 - 图3
    • 配置管理,支持配置异常数据存储表的生命周期,默认15天。 EasyData-V6.5.0-Update2.4 - 图4
    • 执行实例-运行结果中如果存在以存储的异常规则数据则展示已存储标记。
      EasyData-V6.5.0-Update2.4 - 图5

2.新增自动生成业务描述功能

  • 功能介绍:新建模版规则时,新增自动生成业务描述功能
  • 注意事项:无
  • 功能界面及使用步骤:
    • 当新建/编辑规则时,模版规则支持自动生成业务描述
      EasyData-V6.5.0-Update2.4 - 图6
    • 查看执行实例运行结果时,异常规则执行结果旁支持展示业务描述
      EasyData-V6.5.0-Update2.4 - 图7
    • 异常数据样本每行数据展示业务描述
      EasyData-V6.5.0-Update2.4 - 图8

3.新增规则模版:有效性 - 字段枚举个数

  • 功能介绍:规则模版,新增有效性 - 字段枚举个数规则,针对字段的枚举值数量进行检测,当不在阈值范围时则认定为异常质量
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图9
    EasyData-V6.5.0-Update2.4 - 图10

任务运维中心(1.8.3)

子版本号1.8.3

1.新增实例血缘。

  • 功能介绍:实例详情页面新增实例血缘,支持按照层级查看实例的上下游依赖任务运行状态,帮助用户快速查看任务上下游运行状态。
    • 场景一:当某个实例未就绪时,原先仅支持查看一层上游依赖详情,需要用户一层一层去查看是哪一个任务没有运行成功导致的下游未就绪,现在可以通过实例血缘,直接查看实例的上下游依赖执行情况,快速定位异常任务,提高运维效率;
    • 场景二:当某个任务产出数据异常时,原先需要通过任务血缘,结合计划执行时间,判断异常数据污染下游的范围,现在可以通过实例血缘,直接查看该任务的下游的执行情况,快速定位影响范围,进行相应运维操作,提高运维效率。
  • 注意事项:实例血缘仅支持展示线上调度与补数据实例的血缘关系,对于运行方式为重跑或补数据重跑的实例,系统将默认展示其源头实例的血缘关系;实例血缘计算只支持展示就绪时间在第二天11:59分以前的实例,即不会展示就绪时间在后天及以后的实例。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图11

2.新增标签管理并对线上任务设置自定义标签。

  • 功能介绍:运维配置页面新增“标签管理”,支持项目管理员、负责人添加、编辑和删除标签。在任务列表、任务详情页任务负责人及项目管理员、负责人可以给有权限的任务添加标签,并在周期实例大盘、实例列表与任务列表中根据标签筛选对应内容。用户可以根据实际业务场景、运维规范等给任务自定义标签,方便快速筛选任务,在发生异常问题时,也能快速确认任务影响范围并采取对应运维措施。
  • 注意事项:不同标签名称不允许重复,同一标签内不同标签值不允许重复;已被引用的标签或标签值不允许删除,删除前需要先解除引用。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图12
    EasyData-V6.5.0-Update2.4 - 图13

3.新增基线运维-基线诊断支持展示诊断结果。

  • 功能介绍:新增基线诊断支持展示诊断结果,用户可以通过诊断结论快速定位基线异常原因,目前支持诊断的场景分为两大类。
    • 基线任务配置不合理。包括任务为新挂载在基线上的任务,和任务计划执行时间发生变更,以及任务新增上游依赖任务、上游依赖任务计划执行时间发生变更,导致下游实例延迟产出等情况。
    • 实例延迟产出。包括节点运行过慢、节点运行失败。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图14

数据资产地图(2.5.0 2.5.1 2.5.2)

子版本号2.5.0

1.新增自定义目录强制删除功能。

  • 功能介绍:当自定义目录在有元数据表引用的情况下,新增强删功能,解决用户原先划分的目录有表引用,但是后期目录需要废弃,由于有表引用导致不能删除,需要先解除引用关系的问题。
  • 注意事项:删除有风险,操作需谨慎。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图15

2.新增元数据确权申请支持免审批功能。

  • 功能介绍:当前用户既是申请人,同时又是对应确权部门的治理专员,为了简化用户自己发起自己审批的流程,产品上新增免审批功能。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图16
    EasyData-V6.5.0-Update2.4 - 图17

3.数据地图资产搜索OpenAPI新增搜索参数项、返回信息等。

4.新增首页统计信息说明文案。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图18

5.新增表生命周期设置外部表删除合规性校验。
EasyData-V6.5.0-Update2.4 - 图19

6.新增字段搜索列表页表描述信息。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图20

模型设计中心(1.8.1)

子版本号1.8.1

1.新增对接XXX的MO系统关闭审批入口。

  • 功能介绍:当对接XXXMO系统时,可选择配置关闭审批入口,此时本产品的审批入口将变为跳转连接,点击跳转到MO系统进行审批。
  • 注意事项:此功能在不对接MO系统时,也可用;但跳转链接将变为跳转到新流协。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图21

2.新增导航栏项目描述。

  • 功能介绍:新增对项目描述的支持,当该项目有描述信息时,鼠标悬浮将可查看项目描述内容;且在筛选下拉时可以看到描述。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图22
    EasyData-V6.5.0-Update2.4 - 图23

3.更换数据元搜索接口,支持结果按照匹配度进行倒排。

  • 功能介绍:原来模型字段选择数据元搜索时是按照默认顺序展示的,现在增加按照匹配度排序的功能,如当用户搜索“数量”是,同时匹配到“数量”和“份额或资产数量”,那么此时数据元“数量”将排在前方。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图24

4.新增数据标准中的英文全称字段需要同步到地图显示功能。

  • 功能介绍:数据地图字段已支持英文全称属性,且数据元也有英文全称属性,因此模型字段增加英文全称属性,当选择完数据元后,自动填充进去,并且在建表后同步到数据地图。
  • 注意事项:此功能对hive、mysql、oracle、vertica新建表、修改表都支持,但gp库不支持,因为地图的元数据注册还支持gp库。
  • 功能界面及使用步骤:新建表或修改表,选择数据元,自动填充英文全称(若有),或用户自行输入英文全称,建表后,可在地图查看。
    EasyData-V6.5.0-Update2.4 - 图25

5.新增未分组列表批量设置主题归属。

  • 功能介绍:通过表抓取抓过来的表放在了未分组中,需要一个个设置主题域才能够被模型设计中心管控。现提供批量设置主题归属的能力,用户可批量勾选表进行主题归属;另外支持批量忽略以及批量取消忽略。
  • 注意事项:批量选择主题域时,仅能够选择用户负责的主题域。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图26

6.新增跨层统计支持自定义跨层依赖口径。

  • 功能介绍:目前这里展示的口径是按ods层下游是dwd来计算,但格力实际使用场景中ods层下游是dwi层,如果按默认逻辑来算,ods表全是被跨层依赖,指标就没什么意义了。本功能可以让用户自己来定义计算的层级关系。
  • 注意事项:指标计算需要时间,用户配置完成后不会立即生效,默认凌晨1点执行。用户可点击立即执行按钮手动触发,但此过程仍需要时间。
  • 功能界面及使用步骤:进入项目配置-评估指标配置,设置允许直接引用ods的分层,设置后,非该分层列表内的数据引用ods都将作为跨层依赖统计;配置完成后,可点击立即生效提交统计任务执行。

EasyData-V6.5.0-Update2.4 - 图27
EasyData-V6.5.0-Update2.4 - 图28

7.新增模型设计中心扩展属性被引用之后支持修改属性名称。

  • 功能介绍:之前设定扩展属性被引用后,名称不允许修改;本版本经评估支持修改后没有影响,于是放开限制。
  • 注意事项:无
  • 功能界面及使用步骤:进入项目配置-扩展属性配置,编辑表或字段扩展属性。
    EasyData-V6.5.0-Update2.4 - 图29

指标系统(2.8.0)

子版本号2.8.0

1.调整指标详情展示页面展示方式。

  • 功能介绍:这是一个新的指标详情页。重要信息上移,拆出指标血缘、指标应用作为单独tab,新增收藏次数、订阅次数展示。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图30

2.调整指标列表筛选区展示方式。

  • 功能介绍:指标列表页调整了筛选区,解决之前展示混乱的问题。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图31
    EasyData-V6.5.0-Update2.4 - 图32
    EasyData-V6.5.0-Update2.4 - 图33

3.新增指标注册模板增加字段以及导入提示。

  • 功能介绍:导入时模板里面展示的导入提示与表单注册是看到的属性解释其实是由差别的,因此我们增加了导入提示的模块,用户可以自定义导入模板。
  • 注意事项:模板生成以自定义导入提示为准,为空则展示为空。系统提示是为了用户在更改了自定义提示时,可以查看系统提示后还原到原来的提示语。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图34
    EasyData-V6.5.0-Update2.4 - 图35

4.新增指标导入导出支持多sheet区分指标类型。

  • 功能介绍:导入页之前非常混乱,原因如下:1)不同指标类型填写的字段不一致,放在一起展示很迷惑;2)指标结果页展示信息太多,未进行分组,排查问题苦难。本版本增加指标类型多sheet页区分,并且对导入结果进行错误类型区分。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图36
    EasyData-V6.5.0-Update2.4 - 图37

5.指标导出支持导出创建人创建时间等字段。

  • 功能介绍:为了保证导入导出的一致性,之前没用增加创建人及时间字段。本版本对这两个字段提供了支持。
  • 注意事项:无
  • 功能界面及使用步骤:点击导出即可
    EasyData-V6.5.0-Update2.4 - 图38

6.新增无指标管理权限用户只能查看已发布的指标功能。

  • 功能介绍:为区分指标管理者及消费者,对于无管理权限的用户应当只能看到最新的已发布的指标,因此在指标地图及指标字典模块都需要改造。
  • 注意事项:无
  • 功能界面及使用步骤:界面功能无变化,但返回结果有变化。

7.新增指标批量进行治理操作且支持权限控制。

  • 功能介绍:为提升指标管理、治理效率,增加批量的流程操作,以及批量删除的操作。
  • 注意事项:批量操作当前仅当下方勾选的列表里包含该操作所需要的指标状态时才变为可点击态。
    EasyData-V6.5.0-Update2.4 - 图39
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图40
    EasyData-V6.5.0-Update2.4 - 图41

8.导航栏新增项目描述功能。

  • 功能介绍:新增对项目描述的支持,当该项目有描述信息时,鼠标悬浮将可查看项目描述内容;且在筛选下拉时可以看到描述。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图42

9.新增物理名称对接NLP接口并提供配置入口。

  • 功能介绍:注册属性配置时,物理字段也支持配置NLP接口。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图43

数据标准(1.9.2.3)

子版本号1.9.2.3

1.新增对接XXX的MO系统关闭审批入口。

  • 功能介绍:当对接XXXMO系统时,可选择配置关闭审批入口,此时本产品的审批入口将变为跳转连接,点击跳转到MO系统进行审批。
  • 注意事项:此功能在不对接MO系统时,也可用;但跳转链接将变为跳转到新流协。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图44

离线开发(7.0.3.1)

子版本号7.0.3.1

1.新增CS调度的Yarn队列设置default lable以及支持展示default lable和是否是exclusive。

  • 功能介绍:对于CS调度,支持选择队列标签为"< DEFAULT_PARTITION >",该标签下的队列可以使用同集群下标签类型为"Non Exclusive Partition"的空闲资源。
  • 注意事项:无
  • 功能界面及使用步骤:如下图,注册Yarn队列时,队列标签支持选择“< DEFAULT_PARTITION >”,该标签实际为空。选择此标签时,该队列可以使用同集群下标签类型为"Non Exclusive Partition"的空闲资源。选择队列标签后,下方展示队列标签的类型,包括"Exclusive Partition"和"Non Exclusive Partition"。"Exclusive Partition"表示该标签下的资源为独占模式;Non Exclusive Partition:表示该标签下的空闲资源可以被同集群下标签为“< DEFAULT_PARTITION >”的队列共享使用。
    EasyData-V6.5.0-Update2.4 - 图45

2.任务节点依赖支持智能推荐。

  • 功能介绍:支持对SQL节点的输入表进行节点的依赖推荐。
  • 注意事项:无
  • 功能界面及使用步骤:
    • 节点依赖的“智能推荐”入口。
      EasyData-V6.5.0-Update2.4 - 图46
    • 点击“智能推荐”之后,将展示SQL节点输入表的产出节点及任务信息,点击可添加节点的依赖。
      EasyData-V6.5.0-Update2.4 - 图47

实时计算(3.9.11)

子版本号3.9.11

1.新增系统字段支持编辑属性解释以及输入提示功能。

  • 功能介绍:新增系统字段也支持编辑属性解释和输入提示功能,解决之前仅支持对自定义字段编辑属性解释和输入提示,系统字段没有放开,不够灵活问题。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图48

2.新增创建人筛选功能。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图49

3.新增标准发布\审批时应展示前后版本差异功能。

  • 功能介绍:新增标准发布\审批时应展示前后版本差异功能,在发布时进入版本比对页面,提供发布按钮。解决用户发布版本时,无法知道本版本有哪些变更,因此希望在发布时能够查看版本比对结果问题。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图50

4.新增数据地图查看标准字典码值。

  • 功能介绍:新增数据地图查看标准字典码值,接口能力,提供字典码值查看接口给数据地图。
  • 注意事项:无
  • 功能界面及使用步骤:无

控制台(1.2.15)

子版本号1.2.15

1.新增登记HCP数据源。

  • 功能介绍:新增数据源类型HCP,支持在数据源登记页面进行登记。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图51

2.新增接口:返回逻辑数据源对应的物理数据源信息。

数据治理360(3.0.4)

子版本号3.0.4

1.新增相关使用权限。

  • 功能介绍:在安全中心-角色管理的项目级别下,新增选择项目和个人针对数据治理360赋权。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图52

2.数仓任务适配spark3.3的版本。

3.生命周期诊断模块,新增数据库筛选条件。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图53

数据传输(3.3.0)

子版本号3.3.0

1.新增断点续传功能。

  • 功能介绍:离线传输新增断点续传功能,支持数据来源为关系型数据库,去向为Hive时的场景。
  • 注意事项:
    • 如果打开断点续传开关,会记录失败实例中执行成功的子任务,重新执行实例时仅重新执行剩余的子任务,不再执行已执行成功的子任务。开关打开后在以下两个场景生效:
      • 离线开发任务的数据同步节点如开启自动重试,则节点失败自动重试时会重新执行剩余的子任务,直至实例运行成功或达成指定重试次数为止
      • 针对调度运行失败的实例,重跑实例时会重新执行剩余的子任务。如实例重跑时仍运行失败,则会记录本次成功的子任务,再次重跑实例时仅重新执行剩余的子任务,不再执行历次重跑实例时已执行成功的子任务
    • 任务如果打开断点续传开关,请勿修改引用任务的数据同步节点名称。
    • 任务如果打开断点续传开关,在节点失败自动重试或实例重跑期间,请勿修改任务使用的数据源的账号和密码。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图54

2.新增数据来源Druid。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图55

元数据中心(5.6.0)

子版本号5.6.0

1.有数报表分析模块增加支持的数据源类型mysql oracle kylin。
2.元数据中心支持HCP对象存储。
3.StarRocks 增加适配版本2.4。
4.提供逻辑数据源的物理数据源信息返回接口。
5.kafka 增加适配版本2.0.1。
6.CDH集群的hms存储支持Oracle。
7.元数据中心支持模型同步字段英文全称和获取。

流程协作与通知中心(2.3.7)

子版本号2.3.7

1.新画布适配。

  • 功能介绍:所有已经接入的flowable画布迁移到新画布内-除任务运维补数据之外(新画布暂时不支持子流程),使用新画布展示。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图56

2.工单详情页流程图新画布适配。

  • 功能介绍:所有已经适配完成的模板,所有的工单详情流程图通过新画布渲染。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图57

3.流程图支持展示审批人。

  • 功能介绍:工单详情支持展示审批人,并通过不同颜色标识待审批、审批中等不同状态。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图58

4.工单详情页展示工单状态。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图59

5.模板列表页可按模板key模糊搜索。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图60

6.新增5个模版。

  • 功能介绍:
    • 离线开发“提交上线申请”模板(迁移)
    • 离线开发“申请删除Hive库”模板
    • 离线开发“注册K8S资源池”模板
    • 离线开发“修改K8S资源池”模板
    • 离线开发“修改个人hdfs配额”模板

功能优化

数据质量中心(2.9.0)

子版本号2.9.0

1.优化执行实例/质量监控按库搜索功能。

  • 功能介绍:优化执行实例/质量监控按库搜索功,支持按库、按表搜索;同时优化展示内容。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图61

2.优化期望范围阈值,增加校验项。

  • 功能介绍:优化期望范围阈值,增加校验项。当计算规则为默认时,规则命中行数、规则命中唯一行数期望范围阈值应该>0;当计算规则为与基准计算比率,期望范围阈值应>0。
  • 注意事项:无
  • 功能界面及使用步骤:无

3.优化运行中实例结束时间显示。

4.优化新建标准推荐规则,不可编辑区文案太浅问题优化。

  • 功能介绍:无。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图62

5.优化编辑调度。

  • 功能介绍:优化编辑调度功能,当独立调度编辑调度时如果本次编辑不改首次执行时间或调度周期,则不校验是否早于首次执行时间;如果本次编辑修改了首次执行时间或调度周期,则校验是否早于首次执行时间。
  • 注意事项:无
  • 功能界面及使用步骤:无

任务运维中心(1.8.3)

子版本号1.8.3

1.化补数据任务支持添加多段计划执行时间。

  • 功能介绍:在创建补数据任务时,支持添加多段计划执行时间范围,用于解决想补多段不连续时间的场景。
  • 注意事项:目前最多支持添加20段计划执行时间,不同计划执行时间范围内时间不允许重叠。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图63

2.优化实例详情页面支持查看节点历史平均运行时长。

  • 功能介绍:在实例详情页面新增展示节点历史平均运行时长,帮助用户在发现实例运行变慢后,快速定位到异常节点;同时将原先的时间显示格式从“xx秒”调整为“”xx:xx:xx“格式。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图64

3.优化冻结池支持发送告警通知并新增上游依赖判断。

  • 功能介绍:优化冻结池新增通知设置,支持在冻结池解冻完成、解冻失败的时候,给指定用户发送告警信息,帮助用户及时获得冻结池最新状态信息。
  • 注意事项:此次升级后,冻结池在解冻下游时会增加判断,如果有冻结池外的上游任务未运行完成,则冻结池解冻会被暂停,并在重跑标记旁显示图标提醒用户,需要等到上游任务运行完成后,冻结池才会继续解冻实例。例如当把源头任务A加入冻结池后,下游B、C、D任务会被冻结,冻结池解冻后,系统会从A开始重跑,但由于下游D还有一个冻结池外的上游F为失败状态,此时D会解冻失败,需要等待F运行成功后,D才会继续解冻。
    EasyData-V6.5.0-Update2.4 - 图65
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图66

4.优化重跑任务判断依赖需求。

  • 功能介绍:重跑实例时,新增校验逻辑,系统会判断上游依赖实例是否成功,如果非成功状态,会提示用户。避免重跑下游任务时,如果上游为未完成状态,重跑下游数据仍然有错的情况。例如当上游任务在运行中,下游为就绪状态,此时将上下游任务均终止后重跑下游任务,此时系统就会提示用户上游任务未完成,用户可以根据提示确认是否要继续重跑下游任务。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图67

数据资产地图(2.5.0 2.5.1 2.5.2)

子版本号2.5.0

1.优化自定义目录支持重名功能。

  • 功能介绍:部分用户场景中存在不同分类下有相同目录的要求,或者父子目录有同名的场景,为了满足这类场景,产品支持不同分类下可存在同名目录,父子间可存在同名目录。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图68

2.优化资产清单页面,提升打开性能。

  • 功能介绍:资产目录详情页,资产清单页面打开性能提升。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图69

3.优化标准目录跳转地址。

  • 功能介绍:优化标准目录跳转地址,原先是跳转到数据标准默认第一个菜单页,优化后是跳转到数据标准的资源目录页面。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图70

4.优化表详情页字段列表分页默认数量,现支持100条/页。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图71

子版本号2.5.1

1.资产搜索OpenAPI接口增加参数,支持指标系统指标的物理名称、中文名称字段。

子版本号2.5.2

1.优化表详情字段列表。

  • 功能介绍:
    • 经过后台数据统计各个集群中基本99.5%的表字段个数小于200,故为了既能保持用户使用体验,又能解决大宽表字段太多页面打开性能差而超时报错的问题,产品上增加策略:当表字段个数<=200时,字段列表不分页,保持原有使用体验;当表字段个数>200时,系统默认分页且每页展示100个字段,若用户允许存在一定性能问题时也可点击展示所有字段。
    • 增加字段描述和备注的模糊搜索。
    • 字段搜索后,返回的字段序号展示原来的字段序号。
    • 分页页码值扩大,方便翻页,每页页码支持设置为50、100、200、400。
  • 注意事项:无
  • 功能界面及使用步骤:
    • 表字段总数>200个时,页面展示如下:
      EasyData-V6.5.0-Update2.4 - 图72
    • 表字段总数<=200个时,页面展示如下:
      EasyData-V6.5.0-Update2.4 - 图73
      EasyData-V6.5.0-Update2.4 - 图74

2.优化字段搜索后的展示内容。

  • 功能介绍:搜索字段时,搜索结果列表信息不统一,现统一字段搜索后的展示内容。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图75

3.优化命中内容显示。

  • 功能介绍:字段搜索列表中,原来只有字段名命中高亮显示,现在优化为表名和字段名命中内容均可高亮展示。
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图76

模型设计中心(1.8.1)

子版本号1.8.1

1.优化表抓取-获取AZ任务是否活跃迁移到任务运维接口。

  • 功能介绍:后端接口切换,提升抓取效率。
  • 注意事项:无
  • 功能界面及使用步骤:无

指标系统(2.8.0)

子版本号2.8.0

1.优化批量导入增加hover全部文字展示、且错误信息使用字段展示名称。
2.优化申请确权时支持默认显示指标当前的所属部门。
3.优化指标中文名,支持所有可打印的符号,如 :、- / * 。
4.优化字段长度没有限制字数,字数过多都会报错。
5.优化指标命名规范。

- 功能介绍:新规则如下,派生指标=修饰词+原子指标+时间周期(当前是原子指标+修饰词+时间周期);衍生原子指标=衍生词+原子指标(当前是原子指标+衍生词)。

6.优化指标相关时间生成逻辑。

- 功能介绍:
    - 创建时间:提交该指标的时间(无变化)
    - 最后更新时间:内容编辑时间,任何内容发生编辑都会导致更新时间变化
    - 失效时间:应为下线时间(若指标新版本生效,则失效时间为空)
    - 审核时间:应为最后上线时间,草稿态指标无审核时间

实时计算(3.9.11)

子版本号3.9.11

1.优化告警内容,新增任务双跑告警,告警配置与任务失败告警配置一致。
2.优化告警规则配置时,限制用户无法输入无效配置规则。
3.优化rocksdb监控项为默认不开启,用于减轻监控采集的 Kafka 数据存储压力。
4.支持 Ctrl+S 快捷键保存 SQL 任务。
5.优化运维大盘队列监控对接 EasyEagle,可展示CS队列资源使用情况。
6.优化切换项目时,支持展示项目的描述信息。
7.优化代码更新需重置调试功能的提示。
8.优化Source 块调试时提示必填配置并提供配置默认值。
9.实时开发页面左侧菜单交互优化为可展开的菜单。
10.优化实时开发页面部分视觉和交互效果。

控制台(1.2.15)

子版本号1.2.15

1.Kafka数据源版本为2.0.1、认证方式为无认证、Kerberos认证时支持测试连接。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    • 无认证
      EasyData-V6.5.0-Update2.4 - 图77
    • Kerberos认证
      EasyData-V6.5.0-Update2.4 - 图78

2.StarRocks数据源登记新增2.4.1版本。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图79

数据治理360(3.0.4)

子版本号3.0.4

1.数据治理360周报内容更新,优化邮件和popo通知显示内容。
2.生命周期的Openapi接口更新,完善openapi使用文档。

数据传输(3.3.0)

子版本号3.3.0

1.整体页面的视觉优化。

  • 功能介绍:无
  • 注意事项:“新建任务”的按钮移至分类树上方。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图80
    EasyData-V6.5.0-Update2.4 - 图81

2.优化任务日志展示,任务日志展示applicationid,支持跳转查看Spark日志。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图82

3.优化创建离线开发任务,去除任务的来源表名不可重复的限制。

4.优化新建/编辑任务中,搜索MySQL、SQLServer表名时支持忽略大小写搜索。

5.优化导航栏点击“更多”展示项目时支持显示项目描述。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图83

6.数据来源为ES时支持按照索引模式读取与指定模式匹配的的多个索引。

  • 功能介绍:例如存在多个表结构一致的索引fury_dc_event_tracking-2022.11、fury_dc_event_tracking-2022.12、fury_dc_event_tracking-2023.01,同一任务需要读取多个索引,支持此功能后可在index名称处输入fury_dc_event_tracking-*,则配置任务时会取首个索引的表结构用于配置字段映射,运行任务时会读取索引模式匹配的所有索引。

7.优化数据脱敏,支持对数值型字段脱敏。

  • 功能介绍:无
  • 注意事项:字符型字段仅可使用脱敏算法针对字符型字段的脱敏规则,数值型字段仅可使用脱敏算法针对数值型字段的脱敏规则。
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图84

元数据中心(5.6.0)

子版本号5.6.0

1.血缘插件支持报错日志收集,方便排查血缘异常,并提升血缘覆盖度。
2.有数报表分析模块大表拆分,解决负载问题。
3.流表表明细中任意内容更新后,流表修改时间更新。
4.SQL模式获取表结构的接口由get请求改为post请求。
5.easy_metahub 启动速度优化。
6.血缘存储层HBase弱依赖处理。
7.增加ES搜索时对内置hive数据源的权重增加的功能。
8.drop alter事件监听从metastore侧转移到hive spark侧。

流程协作与通知中心(2.3.7)

子版本号2.3.7

1.实时任务发布审核工单名称修改为实时任务提交上线审核,产品名称改为实时开发。
2.数据地图改名数据资产地图。
3.“我已处理”增加异常状态筛选。
4.新画布页展示老模板元数据时降级对alert报警的依赖。
5.提供通用的详情页url接口支持子产品接入第三方bpm(数据标准、模型设计)。
6.按登录用户过滤模板列表搜索结果。

BUG修复

数据质量中心(2.9.0)

子版本号2.9.0

1.修复数据质量串行合并规则开启后,任务运行失败问题。
2.修复数据质量中心数据对比报异常,字段太多,浏览器无法渲染问题。
3.修复数据质量任务实际已经运行完成,显示还是运行中问题。
4.修复创建和修改报告订阅模板时选择每周周期报错问题。
5.修复dqc自定义规则sql预览展示乱行问题。

任务运维中心(1.8.3)

子版本号1.8.3

1.修复了加速器在冻结过程中未实时判断是否停止加速的问题,该问题会导致在实例比较多事出现停滞加速后仍然冻结的问题。
2.修复在任务详情查看执行历史时,当执行历史数在25到50条之间,切换展示查看近50次执行历史时,开始执行时间加载失败的问题。
3.修复了在报警规则中删除已挂载任务的基线提示展示问题。
4.修复了编辑值班组时,下拉展示值班组负责人二次点开内容为空的问题。
5.修复了实例重跑时不支持设置优先级的问题。

数据资产地图(2.5.0 2.5.1 2.5.2 2.5.2.1)

子版本号2.5.0

1.修复元数据注册列表切换一级目录后,右侧元数据状态统计没有刷新的问题。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图85

子版本号2.5.2

1.修复数据治理管理员批量申请发布元数据后,批量发布失败的元数据没有报错提示的问题。

  • 功能介绍:无
  • 注意事项:无
  • 功能界面及使用步骤:
    EasyData-V6.5.0-Update2.4 - 图86

子版本号2.5.2.1

1.修复easy_dmap 频繁触发服务存活告警问题。

模型设计中心(1.8,1)

子版本号1.8.1

1.修复抓取数据状态返回异常。
2.修复模型设计中心综合表工单模板上传报库没有权限问题。

指标系统(2.8.0)

子版本号2.8.0

1.修复数据资产ods_index_info_1d运行夯住问题。
2.修复访问指标地图的时候报错问题。

实时计算(3.9.11)

子版本号3.9.11

1.修复告警信息中环境配置为中文时显示乱码的问题。
2.修复外部环境无反压告警的问题。
3.修复YARN集群无资源,任务一直处于启动中不会自动超时失败的问题。

数据治理360(3.0.4)

子版本号3.0.4

1.修复数据资产文件总数翻倍问题。
2.修复数据资产ods_index_info_1d运行夯住问题。

流程协作与通知中心(2.3.7)

子版本号2.3.7

1.修复XXX并行网关无法识别加签节点问题。
2.修复XXX审批过的工单详情返回NULL问题。
3.修复非当前项目里的人通过审批通知的链接进入流协审批工单有非必要的报错问题。
4.修复当前所在项目集群与跳转至流协的项目集群不一致。
5.流协右上角项目集群下拉列表存在许多没有关联集群的项目数据问题。
6.新流协登出跳转到无效空白页,刷新无效问题。
7.修复自助分析下载申请工单,工单执行已完成,但工单详情中国业务执行状态仍为“执行中”问题。
8.修复自研画布生成的工单,工单列表页的工单编号和工单详情中的工单编号不一致问题。
9.修复我已处理中有异常状态,但工单状态列无异常状态项供筛选问题。
10.修复撤销文案问题。
11.修复流协导航栏名称的实时展示问题。
12.修复模板节点遍历的底层算法,支持开始节点后是并行网关、排他网关的情况问题。
13.修复自助分析下载申请模板的业务状态的历史脏数据问题。
14.修复严选环境的地图、安全中心强启动依赖问题。