本文为您介绍实时流计算 EasyStream 2024年产品更新动态，帮助您及时了解 EasyStream 的新增功能及功能变更等，快速掌握产品情况。

版本：v4.5.0

新增功能

1.【实时开发】SQL任务和JAR任务支持Flink-1.18引擎版本

  • 功能介绍：
    • SQL任务和JAR任务支持Flink-1.18引擎版本
  • 功能使用注意事项
    • 针对SQL任务，Flink-1.18引擎版本暂仅支持以下数据源类型：Kafka、Pulsar、RocketMQ、MySQL、Oracle、Elasticsearch、Kudu、HBase。
    • Flink1.18引擎版本暂不支持脏数据管理功能，OpenAPI相关功能暂未更新。
功能优化

1.【实时开发】开发管理-实时平台管理-项目-集群初始化页，队列设置优化

  • 功能介绍：
    • 当选择的项目-集群的资源实例是中台托管的yarn集群时，支持下拉选择队列或手动输入队列名称，可选的队列范围为：1）当前项目-集群注册的yarn队列+当前集群下其他项目授权给当前项目使用的yarn队列，且 2）队列适用场景包含实时计算。
    • 当选择的项目-集群的资源实例不是中台托管的yarn集群时，仍需手动输入队列名称。

2.修复“Swagger api 未授权方案”的安全漏洞

版本：v4.4.0

新增功能

1.【实时开发】RocketMQ版本为4.2、4.9时适配ACL认证

其它变更

1.【实时开发】CDC任务功能迁移至数据传输-实时传输，实时开发不再支持新建和复制CDC任务

  • 变更说明：
    • 由于CDC任务功能已迁移至数据传输-实时传输，故实时开发不再支持新建和复制CDC任务，不影响历史已创建任务的运维。如需新建CDC任务，请前往 数据传输-实时同步任务 新建任务。

版本：v4.3.0

新增功能

1.【实时开发】JM日志和TM日志支持修改日志级别

  • 功能介绍：
    • 目前平台默认都是info级别日志，排查问题时经常需要用到debug日志，平台不支持直接配置日志级别，对于用户使用造成障碍。由此，此版本支持修改JM日志和TM日志的日志级别为INFO级别或DEBUG级别，方便排查问题。
  • 功能使用注意事项
    • 支持修改整个JM的日志级别为INFO级别或DEBUG级别。支持修改TM的指定container的日志级别为INFO级别或DEBUG级别。
    • 修改日志级别仅针对本次运行生效，日志将以修改后日志级别输出，不影响已输出的日志。
    • 日志级别为DEBUG，会打印DEBUG、INFO、WARN、ERROR级别的日志；日志级别为INFO，只会打印INFO、WARN、ERROR级别的日志。
    • DEBUG日志的开启会对作业性能造成少许影响。如果您没有定位问题的必要，建议将日志级别设置为INFO。

2.【实时开发】Jar包任务文件支持文件管理中的文件

  • 功能介绍：
    • Jar包任务文件支持文件管理中的文件
功能优化

1.【实时开发】支持配置开启cp、sp清理机制

  • 功能介绍：
    • 支持通过EasyOps运维配置开启cp、sp清理机制。
    • 开启时，支持配置清理时间间隔和任务的最小cp/sp数。

版本：v4.2.0

新增功能

1.【实时开发】SQL任务支持任务模板

  • 功能介绍：
    • 内置任务模板，包含滚动窗口聚合、累计窗口聚合等16种模板
    • 创建SQL任务时，支持基于任务模板创建任务
    • 编辑SQL任务时，支持引用代码模板
  • 功能详细使用步骤
    • a.创建SQL任务：

版本更新（2024） - 图1

  • b.编辑SQL任务

版本更新（2024） - 图2

功能优化

1.【实时开发】Jar任务main args参数支持配置是否换行展示

2.【实时运维】任务运行记录支持展示任务运行结束记录

3.【实时开发】流表数据源类型为Kafka时，Topic名称由仅可手动输入改为可选择或输入

版本：v4.1.0

新增功能

1.实时流表支持Iceberg。

  • 功能介绍：
    • 新增支持Iceberg流表登记、展示和使用。

2.实时任务支持脏数据管理。

  • 功能介绍：
    • 为了应对上游（源端）SCHEMA变更，导致下游任务运行异常情况，实时任务目前已支持脏数据管理：
    1. 任务出现脏数据时可以配置不挂掉，能够持续运行；
    2. 通过配置合理的管理策略，脏数据能打印到日志，并产生报警；
    3. 能够在运维页面查看脏数据内容；
    4. 能够自定义配置脏数据报警规则（统计周期、脏数据量、报警间隔）。
功能优化

1.优化Submitter运行时信息更新逻辑，减少binlog数据量。

版本：v4.0.0

新增功能

1.支持日志History Server。

  • 功能介绍：
    • 对日志模块进行了重大重构，新增支持History Server，能够在内嵌运维页面查看当前/历史JM、TM日志，当前/历史异常日志以及任务启动/停止日志，方便用户便捷查看当前状态及快速的定位诊断问题。
功能优化

1.Notebook开发优化。

  • 功能介绍：
    • Notebook优化核心解决的问题：
      • 补足Source源端对接能力，新增可视化数据探查功能
      • 快速引用流表/物理表
      • 可视化配置参数，降低开发门槛
      • 增强调试能力

2.实时开发任务能单独配置参数

3.实时开发-main.args 支持引用【公共资源-参数组】配置的参数

4.支持ndi插件灰度上线