本文为您介绍实时流计算EasyStream 2022年产品更新动态,帮助您及时了解EasyStream的新增功能及功能变更等,快速掌握产品情况。

最新更新






发行版本 产品版本 功能模块 特性 功能描述 时间 产品文档
LTS7.0_Update0.2 V3.9.13 实时开发 新增 实时流表登记新增MySQL、Oracle、Elasticsearch、HBase、Kudu类型的流表 2023.4.3
实时开发 新增 实时SQL任务、Jar任务、流表、文件支持批量下载上传
V3.9.12 实时开发 新增 实时开发页面左侧流表tab升级为实时数仓tab,原右侧列表中数仓流表模块下线
实时开发 新增 实时流表登记支持解析Flink Table DDL获取字段和配置信息快速创建
实时开发 新增 实时流表登记支持登记主键、METADATA字段、计算列、WaterMark
实时开发 新增 实时流表登记支持配置表可用类型标签
实时开发 新增 实时SQL任务语法检查未通过时,管理员可强制将任务提交上线
实时开发 优化 新建或编辑流表时,支持预览表 DDL 语句、语法检查
LTS650_Update2.4 V3.9.11 实时任务运维 新增 新增任务双跑告警,告警配置与任务失败告警配置一致 2022.2.28
实时开发 优化 支持 Ctrl+S 快捷键保存 SQL 任务
实时开发 优化 Source 块调试时提示必填配置并提供配置默认值
LTS650_Update2.1 v3.9.10 实时开发 新增 实时SQL任务对接发布中心,支持通过发布中心进行实时SQL任务发布资源的创建和发布。 2022.12.27
实时开发 新增 实时流表对接发布中心,支持通过发布中心进行实时流表发布资源的创建和发布。
实时开发 新增 实时文件对接发布中心,支持通过发布中心进行实时文件发布资源的创建和发布。
实时开发 优化 任务上线流程优化为创建任务->保存任务->提交上线任务。原本先提后发布步骤合并为提交上线步骤。
实时开发 优化 实时任务名称长度限制放宽至 128 个字符
实时开发 优化 版本对比中,可查看历史版本是否引用已被删除的资源。回滚版本时,提示用户历史版本中有已被删除的资源
实时任务运维 优化 实时运维列表任务状态筛选器新增运行结束状态
LTS650_Update1.9 3.9.9 实时开发 新增 函数管理对接 udf studio,支持通过函数管理进行统一函数授权管理,原有实时函数自动迁移至udf studio 2022.12
实时开发 优化 新增easyops配置项,可通过开启相关配置实现:在实时开发-任务资源配置中允许用户以“per-job”和“application mode”两种方式提交任务
实时开发 优化 视觉ui更新
3.9.8 平台管理 新增 实时开发任务任务、文件、流表由原本归属项目改为项目-集群 2022.11
实时开发 新增 实时开发任务页面右侧运行配置-资源配置中,新增提交账号选择,可选平台账号或项目账号提交任务
实时开发 优化 实时开发任务页面左侧任务树支持搜索任务文件夹
LTS650_Update1.3 3.9.7 平台管理 新增 实时开发支持“项目-集群”概念,同一项目下不同集群为独立工作空间;实时平台管理员可在平台管理-项目初始化页面中,查看各项目可用的队列,并进行修改
实时开发 新增 文件管理新增文件引用关系查看,不可删除已被任务引用的文件
实时开发 新增 实时开发任务页面操作栏新增立即执行按钮,单击后可立即启动或重启任务
实时开发 新增 流表登记支持自动解析流表字段,支持解析序列化方式为json、canal-json、debezium-json、maxwell-json的数据
实时开发 新增 SQL 任务支持通过“${参数名称}”的方式引用参数组,当参数组中的参数值被修改时,重启任务(无需发布任务),新的参数值将立即被使用
实时任务运维 新增 运维大盘数据支持根据任务标签筛选
实时任务运维 新增 运维大盘告警情况支持根据时间筛选,同时支持查看各告警情况对应的任务列表
平台管理 新增 支持实时平台管理员编辑项目初始化时的默认标签
平台管理 新增 支持实时平台管理员及以上角色编辑项目内任务的默认运行配置和默认告警配置
实时开发 新增 流表登记支持Pulsar类型数据源
实时开发 优化 隐藏 Jar 任务运行配置页面不生效的参数(checkpoint参数),如需为 Jar 任务配置 checkpoint,请在 Jar 包内进行配置
实时开发 优化 新增运行配置入口,原“运行配置”拆分为任务配置和资源配置;在运维页面变更资源配置时开发页面的资源配置值会被同步更新
实时任务运维 优化 新增运行日志过期清理机制,避免日志过多存储空间不足
3.9.6 实时开发 新增 实时开发任务页面支持右键任务tab后快速关闭多个任务tab
实时任务运维 新增 新版本发布提示,运维详情页新增当前版本提示
实时任务运维 新增 对接安全中心操作审计,用户对实时开发和实时运维的操作可展示在操作审计日志中,并支持丰富筛选与模糊搜搜索
实时任务运维 新增 告警规则支持配置独立告警接收渠道
实时任务运维 新增 支持项目组管理员以上角色通过项目管理-项目组告警开关实现全面暂定项目组内的实时任务告警
整体产品 优化 域名和导航栏对接数据开发及管理平台
实时开发 优化 调整任务运行配置任务重启策略默认值为 failure-rate 方式
3.9.5 整体产品 新增 实时开发相关组件(包含引擎和插件)支持通过 EasyOps一键自动化部署和升级。(底层集成,在产品侧无具体体现) 2022.08
实时开发 新增 任务树和任务tab新增任务状态展示。
Flink引擎 优化 FlinkSQL中支持使用MySQL、Oracle CDC语法进行数据采集。
实时运维 优化 运维详情页告警记录按照时间倒序排列。
LTS650 Update0.4
3.9.4 实时运维 新增 运维大盘中新增关键指标查看,展示消费延迟、反压、Checkpoint 耗时、CHeckpoint 大小和资源使用量这五个关键指标。 2022.06
实时数仓 优化 数据源登记页面统一到控制台。
实时运维 优化 任务运行配置中,checkpoint配置默认打开。
3.9.3 实时开发 新增 新增发布记录tab,打开后可以查看任务发布过的版本,审核结果,发布结果。当前线上的版本会有(线上)标注。 2022.06
实时运维 新增 新增运维大盘,展示项目内或平台内的任务数量,任务状态,整体流量情况,资源使用情况,告警情况统计
支持按照项目维度配置本项目内任务发布是否需要进行审批,审批人可以通过流程与协作中心进行工单审批
实时开发 优化 SQL任务的代码中和日志中的数据源连接密码会加密显示,修改时需将“加密部分”完全删除后输入新内容进行覆盖。
实时运维 优化 新增我的任务按钮,支持对任务列表快速筛选出用户创建的任务。
3.9.2 任务开发 新增 CDC任务源端新增DB2数据源类型 2022.05
新增 CDC任务选择MySQL、Oracle、SQLServer、Postgre时,增量读取方式增加间隔轮询采集方式
新增 CDC任务目标端新增Kafka类型,原Kafka类型更名为流表类型
新增 CDC任务Oracle源端新增ogg增量读取方式
优化 优化不同任务类型的引擎版本选择
3.9.1 整体平台 新增 新增OpenAPI接口,支持同步通过API实现对一下操作的控制:新建SQL任务、修改SQL任务、删除任务、获取任务信息、启动任务、停止任务、重启任务、获取任务当前状态 2022.05 OpenAPI开发文档
LTS650
3.9.0.1 整体平台 Bug修复 1)修复语法检查失败的问题。
2)修复下载引擎或插件失败的问题。
3)修复任务无法重命名的问题。
4)修复实时管理员无任务编辑权限的问题。
5)提交状态优化。
6)修复新用户登录平台后无法申请加入项目的问题。
2022.04 -
3.9.0 任务开发 新增 新增在线保存调试样本功能。 2022.03 任务调试
平台管理 新增 实时数据开发、实时数据运维角色,并将成员和角色管理与离线平台打通。 账号分配
任务运维 新增 新增自动启停策略功能,支持在任务运维界面为任务配置。 自动启停
新增 新增任务导入导出功能,支持在开发页面进行操作。 任务导入导出
新增 新增CheckPoint列表,支持在运维页面查看CheckPoint记录。 CheckPoint列表
新增 新增告警记录详情,在运维页面单击可查看历史告警记录内容。 -
整体流程 优化 任务上线流程新增提交和发布步骤,现任务流程优化为任务开发 → 任务提交(生成版本)→ 任务发布(上线可启动)。 新建任务

历史更新


Easystream v3.8.4

【新增功能】

  1. 任务启动中支持强制停止。

功能说明:任务在启动中状态时,支持单击强制停止按钮将任务强制停止。

使用方式: 产品动态 - 图1

【功能优化】

  1. 支持通过高级参数配置jm/tm的gc配置。
  2. 支持通过高级参数配置任务提交超时时间。
  3. 优化重启策略参数配置项。
  4. 导航栏中的产品矩阵与数据开发和管理平台打通。
  5. 支持 yarn-stage dir指定路径。

【Bug Fix】

  1. 修复重启策略选择不生效的问题。
  2. 修复 RM 切换后任务无法启动、停止、提交的问题。
  3. 修复选择文件依赖时前端不显示的问题。
  4. 修复任务启动后因分配资源超时,前端显示启动失败,但Yarn上任务还在就绪状态,重新单击启动后报错的问题。
  5. 修复启动日志异常时日志打印终止的问题。
  6. 修复总览页面异常任务列表异常的问题。
  7. 修复部分项目无法创建流表数据库的问题。

Easystream v3.8.3

【功能优化】

  1. 任务启动时将在运行日志页面实时刷新启动日志。
  2. 登记数据源时支持用户根据需要新增自定义配置。
  3. 下线 Notebook 类型任务。

【Bug Fix】

  1. 修复新建任务弹窗中内核版本下拉框在部分浏览器中显示不全的问题。
  2. 修复数据源列表与数据源详情页中的数据源名称不一致问题。
  3. 修复文件管理中一些 Jar 包下载不了的问题。
  4. 修复 influxdb 的写入 value 长度无限制,导致字符串过长写入失败的问题。

Easystream v3.8.2

【新增功能】

1. CDC 任务支持的数据源类型和读取方式增加,并支持字段映射配置。

入口:CDC 任务

权限:所有用户均有权限。

功能说明:

  1. Oracle 作为源端时,新增 Xstream 增量读取方式。
  2. 新增 Postgre 数据源类型作为源端,支持 pgoutput 和 wal2json 增量读取方式。
  3. 新增 Kafka 数据源类型作为源端。
  4. 新增 MySQL、Oracle、SQL Server 数据源类型作为目标端。
  5. 选择源端表和目标端表后,支持配置字段映射。

使用方式:

  1. 创建 CDC 任务: 产品动态 - 图2
  2. 选择任意源端和目标端: 产品动态 - 图3 产品动态 - 图4
  3. 配置字段映射关系,默认的映射规则为同名映射: 产品动态 - 图5
  4. 保存任务。

【功能优化】

  1. 新增任务引擎版本 Flink 1.13(仅支持 CDC 任务)。
  2. 优化任务停止速度。
  3. 用户手册 Flink 1.12 开发部分更新。

【Bug Fix】

  1. 修复批量抑制报警接口返回报错问题。
  2. 修复数据源登记页面登记人不可编辑自己登记的数据源问题。
  3. 修复任务开发页面右侧数仓数据tab内右键弹窗不消失问题。

Easystream v3.8.1

【新增功能】

1. 支持流表字段复杂类型登记

入口:新建流表。

权限:所有用户均有权限。

功能说明:在登记流表时,字段类型新增可自定义参数的row、map、array、decimal字段类型,选择这四种类型时,用户可自行配置嵌套参数。

使用方式:

  1. 新建流表-普通字段-选择row/map/array/decimal类型。 产品动态 - 图6
  2. 根据提示输入参数,保存流表。

2. 支持删除引擎插件

入口:平台管理-任务插件管理

权限:仅平台管理员可操作。

功能说明:在任务引擎插件未被任务使用且处在下线状态时,可被删除,删除后不可恢复。

使用方式:

  1. 平台管理员打开平台管理-任务插件管理页面,选择未被任务使用且处在下线状态的任务插件,单击删除。 产品动态 - 图7
  2. 确认删除后完成操作。

【Bug Fix】

  1. 修复复制任务时任务负责人未变更的问题。
  2. 修复 Flink 1.10 安装包解压路径错误问题。
  3. 修复启动任务时,将mainJar 加入到了 yarnShipPath 导致任务启动失败的问题。
  4. 修复高级配置中部分配置不可用的问题。
  5. 修复 admin 长期向 yarn 请求已停止任务的任务信息,造成 yarn 负担的问题。
  6. 修复平台初始化过程中报错的问题。
  7. 修复 Rocketmq数据源无法登记流表的问题。