本文为您介绍实时流计算EasyStream 2022年产品更新动态,帮助您及时了解EasyStream的新增功能及功能变更等,快速掌握产品情况。

最新更新






产品版本 功能模块 特性 功能描述 时间 产品文档
3.9.0 任务开发 新增 新增在线保存调试样本功能。 2022.02 任务调试
平台管理 新增 实时数据开发、实时数据运维角色,并将成员和角色管理与离线平台打通。 账号分配
任务运维 新增 新增自动启停策略功能,支持在任务运维界面为任务配置。 自动启停
新增 新增任务导入导出功能,支持在开发页面进行操作。 任务导入导出
新增 新增CheckPoint列表,支持在运维页面查看CheckPoint记录。 CheckPoint列表
新增 新增告警记录详情,在运维页面点击可查看历史告警记录内容。
整体流程 优化 任务上线流程新增提交和发布步骤,现任务流程优化为任务开发 → 任务提交(生成版本)→ 任务发布(上线可启动)。 新建任务

历史更新


Easystream v3.8.4

【新增功能】

  1. 任务启动中支持强制停止。

功能说明:任务在启动中状态时,支持点击强制停止按钮将任务强制停止。

使用方式: 产品动态 - 图1

【功能优化】

  1. 支持通过高级参数配置jm/tm的gc配置。
  2. 支持通过高级参数配置任务提交超时时间。
  3. 优化重启策略参数配置项。
  4. 导航栏中的产品矩阵与数据开发和管理平台打通。
  5. 支持 yarn-stage dir指定路径。

【Bug Fix】

  1. 修复重启策略选择不生效的问题。
  2. 修复 RM 切换后任务无法启动、停止、提交的问题。
  3. 修复选择文件依赖时前端不显示的问题。
  4. 修复任务启动后因分配资源超时,前端显示启动失败,但Yarn上任务还在就绪状态,重新点击启动后报错的问题。
  5. 修复启动日志异常时日志打印终止的问题。
  6. 修复总览页面异常任务列表异常的问题。
  7. 修复部分项目无法创建流表数据库的问题。

Easystream v3.8.3

【功能优化】

  1. 任务启动时将在运行日志页面实时刷新启动日志。
  2. 登记数据源时支持用户根据需要新增自定义配置。
  3. 下线 Notebook 类型任务。

【Bug Fix】

  1. 修复新建任务弹窗中内核版本下拉框在部分浏览器中显示不全的问题。
  2. 修复数据源列表与数据源详情页中的数据源名称不一致问题。
  3. 修复文件管理中一些 Jar 包下载不了的问题。
  4. 修复 influxdb 的写入 value 长度无限制,导致字符串过长写入失败的问题。

Easystream v3.8.2

【新增功能】

1. CDC 任务支持的数据源类型和读取方式增加,并支持字段映射配置。

入口:CDC 任务

权限:所有用户均有权限。

功能说明:

  1. Oracle 作为源端时,新增 Xstream 增量读取方式。
  2. 新增 Postgre 数据源类型作为源端,支持 pgoutput 和 wal2json 增量读取方式。
  3. 新增 Kafka 数据源类型作为源端。
  4. 新增 MySQL、Oracle、SQL Server 数据源类型作为目标端。
  5. 选择源端表和目标端表后,支持配置字段映射。

使用方式:

  1. 创建 CDC 任务: 产品动态 - 图2
  2. 选择任意源端和目标端: 产品动态 - 图3 产品动态 - 图4
  3. 配置字段映射关系,默认的映射规则为同名映射: 产品动态 - 图5
  4. 保存任务。

【功能优化】

  1. 新增任务引擎版本 Flink 1.13(仅支持 CDC 任务)。
  2. 优化任务停止速度。
  3. 用户手册 Flink 1.12 开发部分更新。

【Bug Fix】

  1. 修复批量抑制报警接口返回报错问题。
  2. 修复数据源登记页面登记人不可编辑自己登记的数据源问题。
  3. 修复任务开发页面右侧数仓数据tab内右键弹窗不消失问题。

Easystream v3.8.1

【新增功能】

1. 支持流表字段复杂类型登记

入口:新建流表。

权限:所有用户均有权限。

功能说明:在登记流表时,字段类型新增可自定义参数的row、map、array、decimal字段类型,选择这四种类型时,用户可自行配置嵌套参数。

使用方式:

  1. 新建流表-普通字段-选择row/map/array/decimal类型。 产品动态 - 图6
  2. 根据提示输入参数,保存流表。

2. 支持删除引擎插件

入口:平台管理-任务插件管理

权限:仅平台管理员可操作。

功能说明:在任务引擎插件未被任务使用且处在下线状态时,可被删除,删除后不可恢复。

使用方式:

  1. 平台管理员打开平台管理-任务插件管理页面,选择未被任务使用且处在下线状态的任务插件,点击删除。 产品动态 - 图7
  2. 确认删除后完成操作。

【Bug Fix】

  1. 修复复制任务时任务负责人未变更的问题。
  2. 修复 Flink 1.10 安装包解压路径错误问题。
  3. 修复启动任务时,将mainJar 加入到了 yarnShipPath 导致任务启动失败的问题。
  4. 修复高级配置中部分配置不可用的问题。
  5. 修复 admin 长期向 yarn 请求已停止任务的任务信息,造成 yarn 负担的问题。
  6. 修复平台初始化过程中报错的问题。
  7. 修复 Rocketmq数据源无法登记流表的问题。