本文为您介绍实时流计算 EasyStream 2024年产品更新动态，帮助您及时了解 EasyStream 的新增功能及功能变更等，快速掌握产品情况。

版本：v4.8.0

新增功能

1.【实时开发】流表新增数据源类型：Paimon，引擎版本支持Flink1.18

  • 功能介绍：
    • 流表新增数据源类型：Paimon，引擎版本支持Flink1.18，支持作为源表、维表、目标表

2.【实时开发】流表新增数据源类型：Hive，引擎版本支持Flink1.14、1.18

  • 功能介绍：
    • 流表新增数据源类型：Hive，引擎版本支持Flink1.14、1.18，支持作为源表、维表、目标表

3.【实时开发+实时运维】报警的个人报警接收人支持选择值班组

  • 功能介绍：
    • 由于值班组的配置入口是在任务运维中心，故仅当客户环境部署任务运维中心时，才支持选择值班组。
    • 个人报警接受人由单选改为多选，支持同时向报警人、报警组、值班组发送报警。
    • 在设置报警中选择值班组后，支持选择是否启用值班组的主备通知分级策略。如不启用，则仅向值班组的主值班人发送报警；如启用，在报警间隔时间点持续触发报警时，系统按照所选策略，会依次发送给对应顺序的人。当在实时运维-任务报警记录页开启响应报警开关后，任务发送报警时仅会发送给响应人，响应报警到期后，下一次再向值班组发送报警时，会按照值班组配置的”主备通知分级策略”发送给第一级通知人。示例：选择“主-备”，首次发送报警时间是00:00，报警间隔为5分钟，且固定报警间隔检测时任务均满足报警规则。若在00:10前未开启报警抑制或关闭报警功能，则00:05发送报警时会发送给备值班人员，00:10发送报警时会发送给主值班人员。后续若一直未开启报警抑制或关闭报警功能，则循环上面的报警。若在00:07开启响应报警开关并设置响应时间为10分钟，则00:10和00:15发送报警时会发送给响应人，由于00:17响应报警已到期，00:20发送报警时会发送给主值班人。期间，如开启报警抑制或关闭报警功能，则不再发送报警。
    • 在实时运维-任务详情页-报警记录页，支持开启或关闭响应报警开关，默认关闭。响应报警开关打开期间，任务发送报警时仅会发送给响应人；响应报警到期后，下一次再向值班组发送报警时，需要安排值班组配置的”主备通知分级策略”发送给第一级通知人。

版本：v4.7.0

新增功能

1.【实时开发】实时开发任务、流表、实时开发文件对接发布中心

  • 功能介绍：
    • 发布中心支持发布实时开发任务、流表、实时开发文件。
    • 实时开发任务（含SQL任务、Jar任务）：支持发布当前项目-集群下已提交上线的任务。支持通过发布中心发布到开发模式和线上模式
    • 流表：支持发布本项目-集群流表和归属于本项目-集群的公共流表。流表不区分开发模式和线上模式，在发布中心选择发布到开发模式时，会由“无模式资源类型执行发布”是否勾选流表决定是否发布流表；在发布中心选择发布到线上模式时，默认会发布流表。
    • 实时开发任务：支持发布当前项目-集群下的文件。文件不区分开发模式和线上模式，在发布中心选择发布到开发模式时，会由“无模式资源类型执行发布”是否勾选文件决定是否发布文件；在发布中心选择发布到线上模式时，默认会发布文件。
    • 同一发布包执行发布时，资源发布顺序为：参数组->Hive表->实时开发文件->流表->质量监控任务->离线同步任务->数据服务API->离线开发任务->实时开发任务

版本：v4.6.0

新增功能

1.【实时开发】对接Git，支持将SQL任务和JAR任务推送至Git

  • 功能介绍：
    • 对接Git，支持将SQL任务的任务代码、配置信息和JAR任务的Jar包、配置信息推送至Git。
  • 功能使用步骤说明
    • 实时开发-开发管理-实时项目管理-集成Git中，支持以项目粒度绑定一个git仓库，支持配置Git仓库地址、SSH私钥、主分支
      • Git仓库地址：支持填写Git仓库的地址
      • SSH私钥：支持填写Git仓库的SSH私钥
      • 主分支：根据输入的Git仓库和SSH私钥自动拉取所有分支，优先匹配main，如果没有则匹配master，如果没有则再匹配字典序asc第一个分支。
    • 实时开发任务提交上线时，支持将任务提交到Git。当任务提交到Git提交失败时，支持通过报警渠道进行通知。
    • 任务目录结构为：{git工程名字}/easydata/easystream_task/{项目名称}/{集群名称}/{任务jobid}/任务名称。
    • 针对Jar任务，任务目录下包含json文件和Jar任务包（如Jar包来源是本地文件），json文件的推送内容包含：任务基本信息、main.class、main.args、运行配置、依赖配置。如Jar任务包来源是文件管理，只推送文件路径，不推送文件。
    • 针对SQL任务，任务目录下包含json文件，json文件内的内容包含：SQL块、SOURCE块、DIM块、SINK块的配置内容，任务基本信息，运行配置，依赖配置。

2.【实时开发】流表新增数据源类型：StarRocks

  • 功能介绍：
    • 流表新增数据源类型：StarRocks，支持本项目-集群流表和公共流表。
Bug修复

1、【实时运维】修复报警组下拉列表获取失败的问题

2、【实时开发】修复项目组重命名后丢失公共流表的问题

3、【实时开发】代码块增加最大高度限制，解决代码搜索功能不可用的问题

版本：v4.5.0

新增功能

1.【实时开发】SQL任务和JAR任务支持Flink-1.18引擎版本

  • 功能介绍：
    • SQL任务和JAR任务支持Flink-1.18引擎版本
  • 功能使用注意事项
    • 针对SQL任务，Flink-1.18引擎版本暂仅支持以下数据源类型：Kafka、Pulsar、RocketMQ、MySQL、Oracle、Elasticsearch、Kudu、HBase。
    • Flink1.18引擎版本暂不支持脏数据管理功能，OpenAPI相关功能暂未更新。
功能优化

1.【实时开发】开发管理-实时平台管理-项目-集群初始化页，队列设置优化

  • 功能介绍：
    • 当选择的项目-集群的资源实例是中台托管的yarn集群时，支持下拉选择队列或手动输入队列名称，可选的队列范围为：1）当前项目-集群注册的yarn队列+当前集群下其他项目授权给当前项目使用的yarn队列，且 2）队列适用场景包含实时计算。
    • 当选择的项目-集群的资源实例不是中台托管的yarn集群时，仍需手动输入队列名称。

2.修复“Swagger api 未授权方案”的安全漏洞

版本：v4.4.0

新增功能

1.【实时开发】RocketMQ版本为4.2、4.9时适配ACL认证

其它变更

1.【实时开发】CDC任务功能迁移至数据传输-实时传输，实时开发不再支持新建和复制CDC任务

  • 变更说明：
    • 由于CDC任务功能已迁移至数据传输-实时传输，故实时开发不再支持新建和复制CDC任务，不影响历史已创建任务的运维。如需新建CDC任务，请前往 数据传输-实时同步任务 新建任务。

版本：v4.3.0

新增功能

1.【实时开发】JM日志和TM日志支持修改日志级别

  • 功能介绍：
    • 目前平台默认都是info级别日志，排查问题时经常需要用到debug日志，平台不支持直接配置日志级别，对于用户使用造成障碍。由此，此版本支持修改JM日志和TM日志的日志级别为INFO级别或DEBUG级别，方便排查问题。
  • 功能使用注意事项
    • 支持修改整个JM的日志级别为INFO级别或DEBUG级别。支持修改TM的指定container的日志级别为INFO级别或DEBUG级别。
    • 修改日志级别仅针对本次运行生效，日志将以修改后日志级别输出，不影响已输出的日志。
    • 日志级别为DEBUG，会打印DEBUG、INFO、WARN、ERROR级别的日志；日志级别为INFO，只会打印INFO、WARN、ERROR级别的日志。
    • DEBUG日志的开启会对作业性能造成少许影响。如果您没有定位问题的必要，建议将日志级别设置为INFO。

2.【实时开发】Jar包任务文件支持文件管理中的文件

  • 功能介绍：
    • Jar包任务文件支持文件管理中的文件
功能优化

1.【实时开发】支持配置开启cp、sp清理机制

  • 功能介绍：
    • 支持通过EasyOps运维配置开启cp、sp清理机制。
    • 开启时，支持配置清理时间间隔和任务的最小cp/sp数。

版本：v4.2.0

新增功能

1.【实时开发】SQL任务支持任务模板

  • 功能介绍：
    • 内置任务模板，包含滚动窗口聚合、累计窗口聚合等16种模板
    • 创建SQL任务时，支持基于任务模板创建任务
    • 编辑SQL任务时，支持引用代码模板
  • 功能详细使用步骤
    • a.创建SQL任务：

版本更新（2024） - 图1

  • b.编辑SQL任务

版本更新（2024） - 图2

功能优化

1.【实时开发】Jar任务main args参数支持配置是否换行展示

2.【实时运维】任务运行记录支持展示任务运行结束记录

3.【实时开发】流表数据源类型为Kafka时，Topic名称由仅可手动输入改为可选择或输入

版本：v4.1.0

新增功能

1.实时流表支持Iceberg。

  • 功能介绍：
    • 新增支持Iceberg流表登记、展示和使用。

2.实时任务支持脏数据管理。

  • 功能介绍：
    • 为了应对上游（源端）SCHEMA变更，导致下游任务运行异常情况，实时任务目前已支持脏数据管理：
    1. 任务出现脏数据时可以配置不挂掉，能够持续运行；
    2. 通过配置合理的管理策略，脏数据能打印到日志，并产生报警；
    3. 能够在运维页面查看脏数据内容；
    4. 能够自定义配置脏数据报警规则（统计周期、脏数据量、报警间隔）。
功能优化

1.优化Submitter运行时信息更新逻辑，减少binlog数据量。

版本：v4.0.0

新增功能

1.支持日志History Server。

  • 功能介绍：
    • 对日志模块进行了重大重构，新增支持History Server，能够在内嵌运维页面查看当前/历史JM、TM日志，当前/历史异常日志以及任务启动/停止日志，方便用户便捷查看当前状态及快速的定位诊断问题。
功能优化

1.Notebook开发优化。

  • 功能介绍：
    • Notebook优化核心解决的问题：
      • 补足Source源端对接能力，新增可视化数据探查功能
      • 快速引用流表/物理表
      • 可视化配置参数，降低开发门槛
      • 增强调试能力

2.实时开发任务能单独配置参数

3.实时开发-main.args 支持引用【公共资源-参数组】配置的参数

4.支持ndi插件灰度上线