本文为您介绍实时流计算 EasyStream 2024年产品更新动态,帮助您及时了解 EasyStream 的新增功能及功能变更等,快速掌握产品情况。

版本:v4.4.0

新增功能

1.【实时开发】RocketMQ版本为4.2、4.9时适配ACL认证

其它变更

1.【实时开发】CDC任务功能迁移至数据传输-实时传输,实时开发不再支持新建和复制CDC任务
变更说明:由于CDC任务功能已迁移至数据传输-实时传输,故实时开发不再支持新建和复制CDC任务,不影响历史已创建任务的运维。如需新建CDC任务,请前往 数据传输-实时同步任务 新建任务。

版本:v4.3.0

新增功能

1.【实时开发】JM日志和TM日志支持修改日志级别

  • 功能介绍:
    • 目前平台默认都是info级别日志,排查问题时经常需要用到debug日志,平台不支持直接配置日志级别,对于用户使用造成障碍。由此,此版本支持修改JM日志和TM日志的日志级别为INFO级别或DEBUG级别,方便排查问题。
  • 功能使用注意事项
    • 支持修改整个JM的日志级别为INFO级别或DEBUG级别。支持修改TM的指定container的日志级别为INFO级别或DEBUG级别。
    • 修改日志级别仅针对本次运行生效,日志将以修改后日志级别输出,不影响已输出的日志。
    • 日志级别为DEBUG,会打印DEBUG、INFO、WARN、ERROR级别的日志;日志级别为INFO,只会打印INFO、WARN、ERROR级别的日志。
    • DEBUG日志的开启会对作业性能造成少许影响。如果您没有定位问题的必要,建议将日志级别设置为INFO。

2.【实时开发】Jar包任务文件支持文件管理中的文件

  • 功能介绍:
    • Jar包任务文件支持文件管理中的文件
功能优化

1.【实时开发】支持配置开启cp、sp清理机制

  • 功能介绍:
    • 支持通过EasyOps运维配置开启cp、sp清理机制。
    • 开启时,支持配置清理时间间隔和任务的最小cp/sp数。

版本:v4.2.0

新增功能

1.【实时开发】SQL任务支持任务模板

  • 功能介绍:
    • 内置任务模板,包含滚动窗口聚合、累计窗口聚合等16种模板
    • 创建SQL任务时,支持基于任务模板创建任务
    • 编辑SQL任务时,支持引用代码模板
  • 功能详细使用步骤
    • a.创建SQL任务:

版本更新(2024) - 图1

  • b.编辑SQL任务

版本更新(2024) - 图2

功能优化

1.【实时开发】Jar任务main args参数支持配置是否换行展示

2.【实时运维】任务运行记录支持展示任务运行结束记录

3.【实时开发】流表数据源类型为Kafka时,Topic名称由仅可手动输入改为可选择或输入

版本:v4.1.0

新增功能

1.实时流表支持Iceberg。

  • 功能介绍:
    • 新增支持Iceberg流表登记、展示和使用。

2.实时任务支持脏数据管理。

  • 功能介绍:
    • 为了应对上游(源端)SCHEMA变更,导致下游任务运行异常情况,实时任务目前已支持脏数据管理:
    1. 任务出现脏数据时可以配置不挂掉,能够持续运行;
    2. 通过配置合理的管理策略,脏数据能打印到日志,并产生报警;
    3. 能够在运维页面查看脏数据内容;
    4. 能够自定义配置脏数据报警规则(统计周期、脏数据量、报警间隔)。
功能优化

1.优化Submitter运行时信息更新逻辑,减少binlog数据量。

版本:v4.0.0

新增功能

1.支持日志History Server。

  • 功能介绍:
    • 对日志模块进行了重大重构,新增支持History Server,能够在内嵌运维页面查看当前/历史JM、TM日志,当前/历史异常日志以及任务启动/停止日志,方便用户便捷查看当前状态及快速的定位诊断问题。
功能优化

1.Notebook开发优化。

  • 功能介绍:
    • Notebook优化核心解决的问题:
      • 补足Source源端对接能力,新增可视化数据探查功能
      • 快速引用流表/物理表
      • 可视化配置参数,降低开发门槛
      • 增强调试能力

2.实时开发任务能单独配置参数

3.实时开发-main.args 支持引用【公共资源-参数组】配置的参数

4.支持ndi插件灰度上线