版本更新(2024)
更新时间: 2024-05-28 01:53:21
阅读 62
本文为您介绍实时流计算 EasyStream 2024年产品更新动态,帮助您及时了解 EasyStream 的新增功能及功能变更等,快速掌握产品情况。
版本:v4.4.0
新增功能1.【实时开发】RocketMQ版本为4.2、4.9时适配ACL认证
其它变更1.【实时开发】CDC任务功能迁移至数据传输-实时传输,实时开发不再支持新建和复制CDC任务
变更说明:由于CDC任务功能已迁移至数据传输-实时传输,故实时开发不再支持新建和复制CDC任务,不影响历史已创建任务的运维。如需新建CDC任务,请前往 数据传输-实时同步任务 新建任务。
版本:v4.3.0
新增功能1.【实时开发】JM日志和TM日志支持修改日志级别
- 功能介绍:
- 目前平台默认都是info级别日志,排查问题时经常需要用到debug日志,平台不支持直接配置日志级别,对于用户使用造成障碍。由此,此版本支持修改JM日志和TM日志的日志级别为INFO级别或DEBUG级别,方便排查问题。
- 功能使用注意事项
- 支持修改整个JM的日志级别为INFO级别或DEBUG级别。支持修改TM的指定container的日志级别为INFO级别或DEBUG级别。
- 修改日志级别仅针对本次运行生效,日志将以修改后日志级别输出,不影响已输出的日志。
- 日志级别为DEBUG,会打印DEBUG、INFO、WARN、ERROR级别的日志;日志级别为INFO,只会打印INFO、WARN、ERROR级别的日志。
- DEBUG日志的开启会对作业性能造成少许影响。如果您没有定位问题的必要,建议将日志级别设置为INFO。
2.【实时开发】Jar包任务文件支持文件管理中的文件
- 功能介绍:
- Jar包任务文件支持文件管理中的文件
1.【实时开发】支持配置开启cp、sp清理机制
- 功能介绍:
- 支持通过EasyOps运维配置开启cp、sp清理机制。
- 开启时,支持配置清理时间间隔和任务的最小cp/sp数。
版本:v4.2.0
新增功能1.【实时开发】SQL任务支持任务模板
- 功能介绍:
- 内置任务模板,包含滚动窗口聚合、累计窗口聚合等16种模板
- 创建SQL任务时,支持基于任务模板创建任务
- 编辑SQL任务时,支持引用代码模板
- 功能详细使用步骤
- a.创建SQL任务:
- b.编辑SQL任务
1.【实时开发】Jar任务main args参数支持配置是否换行展示
2.【实时运维】任务运行记录支持展示任务运行结束记录
3.【实时开发】流表数据源类型为Kafka时,Topic名称由仅可手动输入改为可选择或输入
版本:v4.1.0
新增功能1.实时流表支持Iceberg。
- 功能介绍:
- 新增支持Iceberg流表登记、展示和使用。
2.实时任务支持脏数据管理。
- 功能介绍:
- 为了应对上游(源端)SCHEMA变更,导致下游任务运行异常情况,实时任务目前已支持脏数据管理:
- 任务出现脏数据时可以配置不挂掉,能够持续运行;
- 通过配置合理的管理策略,脏数据能打印到日志,并产生报警;
- 能够在运维页面查看脏数据内容;
- 能够自定义配置脏数据报警规则(统计周期、脏数据量、报警间隔)。
1.优化Submitter运行时信息更新逻辑,减少binlog数据量。
版本:v4.0.0
新增功能1.支持日志History Server。
- 功能介绍:
- 对日志模块进行了重大重构,新增支持History Server,能够在内嵌运维页面查看当前/历史JM、TM日志,当前/历史异常日志以及任务启动/停止日志,方便用户便捷查看当前状态及快速的定位诊断问题。
1.Notebook开发优化。
- 功能介绍:
- Notebook优化核心解决的问题:
- 补足Source源端对接能力,新增可视化数据探查功能
- 快速引用流表/物理表
- 可视化配置参数,降低开发门槛
- 增强调试能力
- Notebook优化核心解决的问题:
2.实时开发任务能单独配置参数
3.实时开发-main.args 支持引用【公共资源-参数组】配置的参数
4.支持ndi插件灰度上线
文档反馈
以上内容对您是否有帮助?