本文为您介绍实时流计算 EasyStream 2023年产品更新动态,帮助您及时了解 EasyStream 的新增功能及功能变更等,快速掌握产品情况。

最新更新

版本:v3.9.22(LTS 7.0-Update 1.4)

功能优化

1.优化实时血缘在数据地图的展示效果。


版本:v3.9.21(LTS 7.0-Update 1.4)

新增功能

1.平台支持在基于S3A或OSS存储的底层上运行。

  • 功能介绍:
    • 实时计算相关文件如checkpoint、savepoint、Jar任务包、依赖文件等支持存储在S3A或OSS中。
  • 功能使用注意事项:
    • 此功能需要联系运维开启,未开启时默认存储在HDFS上。
功能优化

1.优化实时运维页面部分交互和视觉效果。


版本:v3.9.20(LTS 7.0-Update 1.3)

功能优化

1.配合平台整体支持项目禁用功能,禁用的项目的实时页面将无法查看。

2.实时开发任务中使用的参数组新增项目权限控制。

3.实时任务目标表数据源类型为Hive、 HDFS、Arctic等时,支持查看sink 输出 QPS。

4.优化实时运维模块部分页面交互和视觉效果。

Bug修复

1.修复实时项目初始化生成的流表catalog在控制台中可展示且可被删除的问题。


版本:v3.9.19(LTS 7.0-Update 1.3)

新增功能

1.公共样本支持样本类型选择。

  • 功能介绍:
    • 公共样本新增样本类型选项,配置后可区分样本使用途径。
  • 功能使用注意事项:
    • 历史存量公共样本类型将自动配置为“源表”和“目标表”。
  • 功能详细使用步骤:
    • 新建或编辑样本时支持选择样本类型。
    • 更新合集(2023及历史) - 图1
    • 样本选择源表类型时,调试功能和任务测试功能的源表样本下拉框中将可选择该样本。
    • 样本选择目标表类型时,任务测试功能的目标表下拉框中将可选择该样本。

2.公共样本支持json格式样本。

  • 功能介绍:
    • 为满足用户使用 cdc 格式数据进行调试或任务测试的需求,公共样本格式由仅支持csv格式改为支持csv和json格式数据,采样消息队列数据源类型时或上传 .json 文件时,调试和任务测试将使用样本原始数据格式。
  • 功能使用注意事项:
    • 采样消息队列数据源的数据时,仅支持使用json格式解析数据(含canal-json、debezium-json、maxwell-json、ogg-json),消息队列中数据非json格式的将无法解析和保存。
  • 功能详细使用步骤:
    • 公共样本在线采样消息队列或上传 .json 文件时,样本将按照原始数据格式解析并展示在数据预览区域中,用户可手动切换展示方式到表格展示。此类样本作为源表样本在调试或任务测试功能中使用时,按样本原始数据格式被消费,作为结果表在任务测试功能中进行结果比对时,按json格式解析一级字段后比对。
      更新合集(2023及历史) - 图2

3.新增平台级开关配置普通用户页面可见权限。

  • 功能介绍:
    • 用户可自行配置非实时角色用户加入项目后是否可以访问实时开发和实时运维页面。
  • 功能使用注意事项:
    • 仅实时平台管理员角色用户可修改此配置。
    • 开关仅控制页面访问权限,页面内的功能仅实时类角色用户可操作(实时平台管理员、项目负责人、管理员、实时管理员、实时开发、实时运维)。
  • 功能详细使用步骤:
    • 入口:实时开发管理-平台管理-平台配置。
      更新合集(2023及历史) - 图3
    • 开关默认关闭,关闭效果:非实时角色用户在实时开发和实时运维页面无查看权限;开启效果:非实时角色用户可查看自己加入的项目下的实时任务、流表、文件、样本等资源,但无操作权限。

4.运维大盘关键指标新增输入QPS、输出QPS、Failover次数。

  • 功能介绍:
    • 运维大盘项目-集群级或平台级关键指标新增输入QPS、输出QPS、Failover次数。
  • 功能使用注意事项:
    • 所有可访问运维大盘的用户均可查看项目-集群视角下的运维大盘,实时平台管理员可以查看平台视角下的运维大盘。
  • 功能详细使用步骤:
    • 入口:实时运维页面,选中左侧运维大盘tab,打开运维大盘。
      更新合集(2023及历史) - 图4
    • 在关键指标卡片中,新增输入QPS、输出QPS、Failover次数三个关键指标,指标卡片展示当前页面打开或刷新时的瞬时值,选择某个关键指标后展示该指标下有异常的任务的指标分布情况和对应的任务列表。选择某个分布值时右侧列表会仅展示处于选中的分布值区间的任务列表。
      更新合集(2023及历史) - 图5

5.运维大盘页面新增全局报警功能。

  • 功能介绍:
    • 运维大盘新增项目-集群级或平台级全局告警,可监控对应级别的全部任务,达到配置的告警条件时将向指定用户发出全局报警。同时支持查看历史发出的报警记录。
  • 功能使用注意事项:
    • 在项目-集群视图仅可配置当前项目-集群的全局报警规则,在平台视图仅可配置平台级的全局报警规则。
  • 功能详细使用步骤:
    • 入口:运维大盘右上角-全局报警。
      更新合集(2023及历史) - 图6
    • 报警规则配置:当前支持配置任务运行失败次数、单任务输入/输出QPS、消费延迟、反压、任务告警次数、Failover次数报警。
      更新合集(2023及历史) - 图7
    • 查看报警记录:选择全局报警记录可查看当前页面所在的视图下的全局报警发送记录。
      更新合集(2023及历史) - 图8
功能优化

1.优化任务提交耗时问题。

2.支持配置任务历史状态自动清理开关。

3.实时开发页面任务列表支持拖拽变更任务目录。

4.实时运维任务监控grafana页面嵌入平台页面,无需跳转即可查看任务监控。

Bug修复

1.修复grafana密码有特殊字符导致平台组件升级失败问题。

2.修复submiter 对接 cdh yarn 网络 socket 泄漏问题。

3.修复搜索特殊字符 _ %结果有误的问题。

4.修复无法调试同一个任务内不同库下同名表的问题。


版本:v3.9.18(LTS 7.0-Update 1.2)

新增功能

1.任务支持自动拉起

  • 功能介绍:
    • 任务运维配置中新增失败自动拉起配置,开启后如任务运行失败,平台将尝试自动拉起恢复任务。
  • 功能使用注意事项:
    • 任务自动拉起的版本为运维页面的当前版本,自动拉起次数将在用户手动启停操作后重置,变更自动拉起配置需重新提交任务。
  • 功能详细使用步骤:
    • 配置入口:实时开发-运行配置-任务配置。
      更新合集(2023及历史) - 图9
    • 配置说明:
      • 自动拉起开关:默认关闭,打开后自动拉起策略将生效。
      • 自动拉起方式:可选择从最新 Checkpoint 恢复或直接启动。
      • 自动拉起次数:任务失败后尝试自动拉起的次数,当用户有手动启停操作后次数将重置。如配置自动拉起次数为3次,当前任务运行失败,通过自动拉起尝试恢复两次后正常运行,此时剩余自动拉起次数为1次,若用户手动对此任务进行重启,则自动拉起次数恢复至3次。
      • 自动拉起间隔:任务失败后尝试自动拉起的时间间隔。
功能优化

1.数据滞留延迟报警信息中延迟时间单位自动转换。


版本:v3.9.17(LTS 7.0-Update 1.1)

新增功能

1.任务运维checkpoint列表支持实时刷新。

  • 功能介绍:
    • 运维详情页 Checkpoint 列表升级为任务状态列表,支持展示运行中 Checkpoint 列表、历史 Checkpoint 列表、Savepoint列表,运行中 Checkpoint 列表自动定时刷新展示最新生成的 checkpoint。
  • 功能使用注意事项:
    • 运行中 Checkpoint 列表仅在任务运行状态为启动中、运行中、停止中、停止等待中、未知状态时展示本次运行生成的 checkpoint ,在其他状态下请查看历史 Checkpoint 列表。
  • 功能详细使用步骤:
    • 打开任务运维详情页-任务状态列表即可查看运行中 Checkpoint 列表、历史 Checkpoint 列表、Savepoint列表。
      更新合集(2023及历史) - 图10

2.支持任务负责人和告警接收人批量转交。

  • 功能介绍:
    • 支持通过安全中心-权限治理-整体转交功能转交实时任务负责人和实时任务报警接收人。
  • 功能使用注意事项:
    • 仅项目负责人、管理员可操作转交当前项目下实时任务的任务负责人和报警接收人。
  • 功能详细使用步骤:
    • 项目负责人、管理员打开安全中心-权限治理-整体转交页面,勾选实时任务负责人和实时报警接收人,选择转交人和接收人。
      更新合集(2023及历史) - 图11

3.新增任务窗口延迟指标监控。

  • 功能介绍:
    • 支持监控任务窗口延迟,包括窗口丢弃数据量、丢弃数据TPS、Watermark延迟。
  • 功能使用注意事项:
    • 仅任务中使用了窗口函数并出现窗口延迟后,窗口延迟监控有数据展示。
  • 功能详细使用步骤:
    • 打开任务监控页面即可查看窗口延迟监控。

4.实时开发页面左侧导航栏交互优化。

  • 功能介绍:
    • 调整实时开发页面层级结构,实时开发页面一级导航对应实时开发中各类资源管理页面,任务管理页面的左侧资源列表顶部目录对应资源快速查找列表目录。
  • 功能详细使用步骤:

    • 在资源管理场景下,用户使用页面一级导航前往各类资源管理页面。

      更新合集(2023及历史) - 图12

    • 在任务开发场景下,用户使用任务管理页面中左侧资源列表顶部目录切换资源类型查找任务中需要使用的各类资源。

      更新合集(2023及历史) - 图13

5.新增获取任务 Checkpoint/Savepoint 列表和获取任务列表的 Open API。

  • 详情请见 Open API 文档。
功能优化

1.自动启停支持配置时区。

  • 功能使用注意事项:
    • 启动日志或运行日志等日志中时间仍为服务器时间,不随此处时区调整变化。

2.Kafka流表序列化方式支持 ogg-json。

3.报警规则输入框增加输入值校验。

4.关闭 CDC 任务中实时传输已支持的源端为 MySQL、Oracle、Kafka,目标端为Kafka的创建入口。

Bug修复

1.修复运维大盘输入QPS和输出QPS数据有误的问题。

2.修复调试时不可使用不同名库下同名表的问题。

3.修复报错内容为服务器开小差的问题。


版本:v3.9.16(LTS 7.0-Update 0.8)

新增功能

1.支持创建和使用公共流表。

  • 功能介绍:
    • 新增项目组范围内可共享的公共流表,用户可创建并在不同项目下使用公共流表。
  • 功能使用注意事项:
    • 公共流表使用时需按三元组方式使用。
    • 公共流表的使用权限通过数据源使用权限控制,即如需使用已公开的公共流表,则该项目需具备该流表实际对应的数据源的使用权限。
    • 公共流表的编辑权限归属于创建流表时所在的项目-集群的项目负责人、管理员、实时管理员、实时开发、实时运维。其他项目-集群即使在流表公开范围内也无法对流表进行编辑、删除操作。
  • 功能详细使用步骤:
    • 创建公共流表:创建或编辑流表时,流表可用范围选择公共流表,之后按需配置流表公开范围。 -注意:如选择指定项目-集群公开,当前所在的项目-集群必须在指定公开范围内,否则流表将无法再次编辑。
    • 查看公共流表:公共流表可在实时开发页面左侧实时数仓模块中查看,也可在流表管理页面切换至公共流表tab查看。
    • 使用公共流表:在 SQL 任务中,通过 [catalog].[流表库].[流表名称] 的三元组方式使用公共流表。公共流表的catalog可在流表详情页面中查看。

2.复制流表支持订阅源端表变更。

  • 功能介绍:
    • 支持用户复制流表时选择订阅源端表变更,当被复制的流表字段信息或配置信息有更新时,在订阅变更的表的详情页有更新提示。
  • 功能使用注意事项:
    • 仅可在通过复制按钮进入新建流表流程时订阅源端表变更,直接新建流表无此功能。
    • 用户复制流表时如未订阅变更或后续取消订阅,不可重新恢复订阅。
  • 功能详细使用步骤:
    • 订阅变更:在流表管理列表中找到需要复制的流表,点击复制按钮进入新建流表页面,在页面底部勾选订阅源端表变更。
    • 查看变更:在复制后的流表详情页里,复制源端表字段将在源端表有变更时展示有更新icon。
    • 接收变更:点击有更新icon,选择接收更新,进入流表编辑页面查看变更后的字段信息和配置信息,可基于变更后的内容修改后保存。保存后有更新提示消失。
    • 取消订阅:在复制流表时可以选择取消订阅源端表变更的勾选。已订阅变更的在对应流表详情页面,复制源端表字段旁可取消订阅。

3.公共样本管理。

  • 功能介绍:
    • 支持通过上传样本,在线采样,任务调试生成(仅在任务中操作)的方式创建或编辑公共样本。
    • 公共样本可在任务调试和任务测试功能中被引用。
  • 功能使用注意事项:
    • 具备项目负责人、管理员、实时管理员、实时开发、实时运维角色的用户可以新建、编辑、删除公共样本。具备项目负责人、管理员、实时管理员角色的用户可以下载样本数据。
    • 单个公共样本的数据量上限为1000条数据。
    • 当前仅支持 Kafka、Pulsar、RocketMQ、MySQL、Oracle 数据源类型的表进行在线采样。
  • 功能详细使用步骤:
    • a. 功能入口:实时开发页面左侧一级导航栏。
    • 新建/编辑样本:支持上传样本或在线采样方式新建样本。上传样本时要求样本首行为字段名称且不可有同名字段。上传样本后仅保留样本中的前1000条数据。采样或上传样本,通过数据预览确认样本数据无误后即可保存样本。
    • 任务生成样本:任务调试后可将调试结果保存为公共样本。保存时样本名称按照[任务名称]_[目标表名称]自动生成,重复保存时同名样本将被更新。
    • 管理样本:通过公共样本管理列表可查看样本详情、编辑/删除样本,或查看样本引用情况。
    • 使用样本:可在任务调试或任务测试功能中引用公共样本。

4.SQL 任务支持测试比对调试结果。

  • 功能介绍:
    • 支持比对任务调试结果和用户选定的结果样本,帮助用户验证任务逻辑和特殊极值等情况。
  • 任务使用注意事项:
    • 任务测试需在任务已通过语法检查的情况下进行。
  • 功能详细使用步骤:
    • 点击任务测试按钮打开任务测试弹窗,选择源表和目标表分别要使用的测试样本,点击开始测试。源表测试样本将作为任务调试的数据来源,目标表测试样本将作为调试结果的比对参照物。
      • Tip:可仅选择想进行测试的源表和结果表样本进行测试,确保想要比对的目标表的上游源端有选中测试样本即可,无需为全部源表和目标表都勾选测试样本。
    • 测试结束后可在任务测试弹窗中查看测试结果,结果将分为表级别比对结果、字段级别比对结果和字段级别比对结果详情三部分展示,字段比对详情支持下载。

5.支持搜索数据源或表关联的任务列表。

  • 功能介绍:
    • 支持通过数据源名称、数据源标识、流表名称、topic 名称、物理表名称确定要查询的资源后,获取对应资源的血缘关联的任务列表。
  • 功能使用注意事项:
    • 当前仅支持搜索 MySQL、Oracle、Postgresql、Kudu、TiDB、Elasticsearch、HBase、Redis、Kafka、Pulsar、RocketMQ、Hive、Starrocks、Doris 类型数据源或表或Topic。 其中不支持搜索 hive 数据源名称。
    • 搜索范围为本项目组内资源及其关联的任务。
  • 功能详细使用步骤:
    • a.功能入口:实时运维模块一级导航栏-任务血缘搜索。
    • 选择待搜索的资源类型后输入资源名称,在下拉框中选择要搜索血缘关系的具体资源。
      • 搜索数据源名称和数据源标识时,下拉框中同时展示数据源类型。
      • 搜索流表名称时,下拉框中同时展示流表库及流表归属的项目-集群,如为公共流表则展示公共流表的来源项目-集群。
      • 搜索Topic名称时,下拉框中同时展示 topic 归属的数据源名称,如topic所属数据源未在平台进行登记,则展示归属数据源的url。
      • 搜索表名称时,下拉框中同时展示库名及数据源名称,如该表所属数据源未在平台进行登记,则展示归属数据源的url。
    • 选择资源后,下方展示该资源关联的任务列表。

6.告警渠道新增群聊告警。

  • 功能介绍:
    • 若用户的企业微信群、钉钉群等渠道已对接平台告警组件,则支持向群聊中发送告警信息并@指定用户。
  • 功能详细使用步骤:
    • 在告警弹窗中,勾选需发送告警的群聊渠道,并配置群聊报警接受群。
      • 报警接收群渠道:选择要接收告警的群聊渠道。
      • 报警接受群:选择该渠道要接收告警的群聊名称。
      • 报警接收人:选择告警消息要@的用户,默认选中该任务的创建人。
    • 在实时开发管理-项目管理-默认告警配置中也可配置群聊告警的默认配置。

7.新增流表登记 Open API 和血缘搜索 Open API。

  • 详情请见 Open API 文档。
功能优化

1.流表负责人支持变更。

2.流表数据解析获取数据时支持使用用户指定的kafka group id。

3.默认运行配置功能增加Flink高级配置和自定义配置选项。

Bug修复

1.修复实时日志采集问题。


版本:v3.9.15(LTS 7.0-Update 0.8)

新增功能

1.支持查看实时 SQL 任务内和任务间血缘。

  • 功能介绍:
    • 新增实时任务血缘查看功能,通过解析 SQL 任务的代码,获取任务中使用的表,构建任务和表间的血缘关系,帮助用户定位任务或表上下游,辅助进行问题定位或影响分析。
  • 功能使用注意事项:
    • 本仅支持解析使用了 Flink 1.12或1.14版本引擎的 SQL 任务内的血缘关系。仅支持展示 MySQL、Oracle、Postgresql、Kudu、TiDB、Elasticsearch、HBase、Redis、Kafka、Pulsar、RocketMQ、Hive、Starrocks、Doris 数据源类型的血缘关系。
  • 功能详细使用步骤:
    • a. 功能入口:任务运维详情页-任务血缘。
    • b. 任务内血缘:
      • 展示任务内的表与表之间的关联关系,节点为表,节点名称按表在任务实际使用时的名称展示,如为流表则展示流库.流表,如为 DDL 则展示 DDL 中定义的表名称,如为元数据开发方式则展示三元组名称。
      • 点击节点可查看节点详情。支持通过表名进行节点搜索。
      • 当任务为运行中状态时,血缘连线为实线,代表活动血缘;当任务为非运行中状态时,血缘连线为虚线,代表静默血缘。
    • c. 任务间血缘:
      • 展示任务间的血缘关系,节点为任务,连线为表(实际存在的物理表),主节点为当前任务。
      • 点击节点可查看节点任务详情。点击连线可查看连线对应的表详情。
      • 支持通过任务名进行节点搜索。暂不支持通过表名进行连线搜索。支持通过表的数据源类型筛选血缘关系。
      • 当任务为运行中状态时,血缘连线为实线,代表活动血缘;当任务为非运行中状态时,血缘连线为虚线,代表静默血缘。
      • 同一任务最多支持查看3层上下游血缘。

2.支持监控任务自定义指标。

  • 功能介绍:
    • 新增自定义指标上报和监控功能,帮助用户监控任务内的业务指标。
  • 功能使用注意事项:
    • 单个任务最多支持上报20个自定义监控指标。
    • 支持 Counter、Gauge、Meter、Histogram 四类指标上报。
  • 功能详细使用步骤:

    • a. 功能入口:实时开发-依赖配置。
    • b. SQL 任务自定义监控指标配置:

      • 平台已将支持上报的四类指标所需函数作为平台公共函数置入 UDF Studio 的系统函数中。当用户需要在 SQL 任务中上报自定义监控指标时,根据对应函数的使用方式在 SQL 代码中引用函数上报需要监控的指标。具体示例请见实时计算用户手册示例。
      • 用户保存 SQL 代码后,平台将自动解析和获取任务中使用的自定义监控指标名称和函数类型,展示在任务的依赖配置中,用户可进行确认。
    • c. Jar 任务自定义监控指标配置:

      • 用户自行在 Jar 任务代码中按平台示例上报自定义指标监控。
      • 需监控的指标由用户自行在依赖配置-自定义指标监控列表中进行声明。
    • d. 自定义监控指标查看:当任务配置了自定义监控指标,则在任务提交上线后,在任务运维详情页-自定义监控指标tab页面可查看上报的指标的监控图表。

3.新增 Jar 任务增删改查 Open API。

  • 功能说明:详情请见 Open API 开发文档。
功能优化

1.优化 SQL 任务中 SQL 块高度适配,扩展代码框高度,提升使用体验。

2.优化自动启停时间配置校验逻辑,支持跨天调度。

3.优化任务状态展示,新增未知任务状态用于标识未从 yarn 集群获取到任务状态的任务。

4.优化部分前端组件视觉和交互效果。

Bug修复

1.修改实时任务状态翻转不同步问题。

2.修复HBase流表创建时无法登记 row 字段的问题。

3.修复重启时无法使用最新checkpoint或最新savepoint问题。

4.修复文件依赖未进行同名校验的问题。


版本:v3.9.14.1(LTS 7.0-Update 0.6)

新增功能

1.实时任务新增启动等待中和停止等待中两个新状态

  • 功能说明:

    • 由于平台提交服务线程数量限制,实时任务新增启动等待中和停止等待中两个新状态用于标识批量启动、停止、重启时正在排队等待的任务。处于等待中的任务可取消之前的操作,取消后任务状态恢复为上一个状态。
  • 使用说明:

    • 实时运维列表页新增启动等待中和停止等待中两个状态。处于启动等待中和停止等待中的任务可点击取消启动或取消停止按钮取消排队,任务状态恢复为上一个状态。任务的取消启动或取消停止操作权限与启动或停止权限一致。
    • 平台提交服务线程数可根据用户自身机器性能通过easyops配置进行调整。
功能优化

1.批量停止时支持触发Savepoint后停止。


版本:v3.9.14(LTS 7.0-Update 0.6)

新增功能

1.新增任务负责人权限控制

  • 功能说明:

    • 实时平台管理员可控制是否启用任务负责人权限以及任务仅负责人可见权限,权限开启后,角色为实时开发的用户仅可操作自己为负责人的任务。
  • 权限说明:

    • 仅实时平台管理员有任务负责人开关控制权限。
  • 使用说明:

    • 入口:实时开发-平台管理-平台配置。
      更新合集(2023及历史) - 图14
    • 打开仅任务负责人可操作任务开关时,角色为实时开发的用户仅可开发和运维自己为任务负责人的任务,不可操作其他用户的任务。
    • 打开仅任务负责人可查看任务开关时,角色为实时开发的用户仅可查看自己为任务负责人的任务详情,无法查看其他用户的任务。
    • 完整角色和负责人权限列表请见角色权限页面。

2.运维列表页资源使用总量统计

  • 功能说明:

    • 运维列表页右下角新增浮窗统计当前列表中运行中任务的资源使用总量,列表由不同条件筛选时总量随筛选条件变化。
  • 使用说明:

    • 入口:实时运维-运维列表右下角。hover浮窗时展示列表中全部运行中的任务的资源使用总量。
      更新合集(2023及历史) - 图15
      更新合集(2023及历史) - 图16
新增功能

1.支持高级配置中配置--allowNonRestoredState参数。

2.流表配置项增加重复参数校验。

3.文件依赖选择增加重名文件校验。

Bug修复

1.修复流表登记时字段过多导致页面卡住的问题。





发行版本 产品版本 功能模块 特性 功能描述 时间 产品文档
LTS7.0_Update0.2 V3.9.13 实时开发 新增 实时流表登记新增MySQL、Oracle、Elasticsearch、HBase、Kudu类型的流表 2023.4.3
实时开发 新增 实时SQL任务、Jar任务、流表、文件支持批量下载上传
V3.9.12 实时开发 新增 实时开发页面左侧流表tab升级为实时数仓tab,原右侧列表中数仓流表模块下线
实时开发 新增 实时流表登记支持解析Flink Table DDL获取字段和配置信息快速创建
实时开发 新增 实时流表登记支持登记主键、METADATA字段、计算列、WaterMark
实时开发 新增 实时流表登记支持配置表可用类型标签
实时开发 新增 实时SQL任务语法检查未通过时,管理员可强制将任务提交上线
实时开发 优化 新建或编辑流表时,支持预览表 DDL 语句、语法检查
LTS650_Update2.4 V3.9.11 实时任务运维 新增 新增任务双跑告警,告警配置与任务失败告警配置一致 2022.2.28
实时开发 优化 支持 Ctrl+S 快捷键保存 SQL 任务
实时开发 优化 Source 块调试时提示必填配置并提供配置默认值
LTS650_Update2.1 v3.9.10 实时开发 新增 实时SQL任务对接发布中心,支持通过发布中心进行实时SQL任务发布资源的创建和发布。 2022.12.27
实时开发 新增 实时流表对接发布中心,支持通过发布中心进行实时流表发布资源的创建和发布。
实时开发 新增 实时文件对接发布中心,支持通过发布中心进行实时文件发布资源的创建和发布。
实时开发 优化 任务上线流程优化为创建任务->保存任务->提交上线任务。原本先提后发布步骤合并为提交上线步骤。
实时开发 优化 实时任务名称长度限制放宽至 128 个字符
实时开发 优化 版本对比中,可查看历史版本是否引用已被删除的资源。回滚版本时,提示用户历史版本中有已被删除的资源
实时任务运维 优化 实时运维列表任务状态筛选器新增运行结束状态
LTS650_Update1.9 3.9.9 实时开发 新增 函数管理对接 udf studio,支持通过函数管理进行统一函数授权管理,原有实时函数自动迁移至udf studio 2022.12
实时开发 优化 新增easyops配置项,可通过开启相关配置实现:在实时开发-任务资源配置中允许用户以“per-job”和“application mode”两种方式提交任务
实时开发 优化 视觉ui更新
3.9.8 平台管理 新增 实时开发任务任务、文件、流表由原本归属项目改为项目-集群 2022.11
实时开发 新增 实时开发任务页面右侧运行配置-资源配置中,新增提交账号选择,可选平台账号或项目账号提交任务
实时开发 优化 实时开发任务页面左侧任务树支持搜索任务文件夹
LTS650_Update1.3 3.9.7 平台管理 新增 实时开发支持“项目-集群”概念,同一项目下不同集群为独立工作空间;实时平台管理员可在平台管理-项目初始化页面中,查看各项目可用的队列,并进行修改
实时开发 新增 文件管理新增文件引用关系查看,不可删除已被任务引用的文件
实时开发 新增 实时开发任务页面操作栏新增立即执行按钮,单击后可立即启动或重启任务
实时开发 新增 流表登记支持自动解析流表字段,支持解析序列化方式为json、canal-json、debezium-json、maxwell-json的数据
实时开发 新增 SQL 任务支持通过“${参数名称}”的方式引用参数组,当参数组中的参数值被修改时,重启任务(无需发布任务),新的参数值将立即被使用
实时任务运维 新增 运维大盘数据支持根据任务标签筛选
实时任务运维 新增 运维大盘告警情况支持根据时间筛选,同时支持查看各告警情况对应的任务列表
平台管理 新增 支持实时平台管理员编辑项目初始化时的默认标签
平台管理 新增 支持实时平台管理员及以上角色编辑项目内任务的默认运行配置和默认告警配置
实时开发 新增 流表登记支持Pulsar类型数据源
实时开发 优化 隐藏 Jar 任务运行配置页面不生效的参数(checkpoint参数),如需为 Jar 任务配置 checkpoint,请在 Jar 包内进行配置
实时开发 优化 新增运行配置入口,原“运行配置”拆分为任务配置和资源配置;在运维页面变更资源配置时开发页面的资源配置值会被同步更新
实时任务运维 优化 新增运行日志过期清理机制,避免日志过多存储空间不足
3.9.6 实时开发 新增 实时开发任务页面支持右键任务tab后快速关闭多个任务tab
实时任务运维 新增 新版本发布提示,运维详情页新增当前版本提示
实时任务运维 新增 对接安全中心操作审计,用户对实时开发和实时运维的操作可展示在操作审计日志中,并支持丰富筛选与模糊搜搜索
实时任务运维 新增 告警规则支持配置独立告警接收渠道
实时任务运维 新增 支持项目组管理员以上角色通过项目管理-项目组告警开关实现全面暂定项目组内的实时任务告警
整体产品 优化 域名和导航栏对接数据开发及管理平台
实时开发 优化 调整任务运行配置任务重启策略默认值为 failure-rate 方式
3.9.5 整体产品 新增 实时开发相关组件(包含引擎和插件)支持通过 EasyOps一键自动化部署和升级。(底层集成,在产品侧无具体体现) 2022.08
实时开发 新增 任务树和任务tab新增任务状态展示。
Flink引擎 优化 FlinkSQL中支持使用MySQL、Oracle CDC语法进行数据采集。
实时运维 优化 运维详情页告警记录按照时间倒序排列。
LTS650 Update0.4
3.9.4 实时运维 新增 运维大盘中新增关键指标查看,展示消费延迟、反压、Checkpoint 耗时、CHeckpoint 大小和资源使用量这五个关键指标。 2022.06
实时数仓 优化 数据源登记页面统一到控制台。
实时运维 优化 任务运行配置中,checkpoint配置默认打开。
3.9.3 实时开发 新增 新增发布记录tab,打开后可以查看任务发布过的版本,审核结果,发布结果。当前线上的版本会有(线上)标注。 2022.06
实时运维 新增 新增运维大盘,展示项目内或平台内的任务数量,任务状态,整体流量情况,资源使用情况,告警情况统计
支持按照项目维度配置本项目内任务发布是否需要进行审批,审批人可以通过流程与协作中心进行工单审批
实时开发 优化 SQL任务的代码中和日志中的数据源连接密码会加密显示,修改时需将“加密部分”完全删除后输入新内容进行覆盖。
实时运维 优化 新增我的任务按钮,支持对任务列表快速筛选出用户创建的任务。
3.9.2 任务开发 新增 CDC任务源端新增DB2数据源类型 2022.05
新增 CDC任务选择MySQL、Oracle、SQLServer、Postgre时,增量读取方式增加间隔轮询采集方式
新增 CDC任务目标端新增Kafka类型,原Kafka类型更名为流表类型
新增 CDC任务Oracle源端新增ogg增量读取方式
优化 优化不同任务类型的引擎版本选择
3.9.1 整体平台 新增 新增OpenAPI接口,支持同步通过API实现对一下操作的控制:新建SQL任务、修改SQL任务、删除任务、获取任务信息、启动任务、停止任务、重启任务、获取任务当前状态 2022.05 OpenAPI开发文档
LTS650
3.9.0.1 整体平台 Bug修复 1)修复语法检查失败的问题。
2)修复下载引擎或插件失败的问题。
3)修复任务无法重命名的问题。
4)修复实时管理员无任务编辑权限的问题。
5)提交状态优化。
6)修复新用户登录平台后无法申请加入项目的问题。
2022.04 -
3.9.0 任务开发 新增 新增在线保存调试样本功能。 2022.03 任务调试
平台管理 新增 实时数据开发、实时数据运维角色,并将成员和角色管理与离线平台打通。 账号分配
任务运维 新增 新增自动启停策略功能,支持在任务运维界面为任务配置。 自动启停
新增 新增任务导入导出功能,支持在开发页面进行操作。 任务导入导出
新增 新增CheckPoint列表,支持在运维页面查看CheckPoint记录。 CheckPoint列表
新增 新增告警记录详情,在运维页面单击可查看历史告警记录内容。 -
整体流程 优化 任务上线流程新增提交和发布步骤,现任务流程优化为任务开发 → 任务提交(生成版本)→ 任务发布(上线可启动)。 新建任务

历史更新


Easystream v3.8.4

【新增功能】

  1. 任务启动中支持强制停止。

功能说明:任务在启动中状态时,支持单击强制停止按钮将任务强制停止。

使用方式:
更新合集(2023及历史) - 图17

【功能优化】

  1. 支持通过高级参数配置jm/tm的gc配置。
  2. 支持通过高级参数配置任务提交超时时间。
  3. 优化重启策略参数配置项。
  4. 导航栏中的产品矩阵与数据开发和管理平台打通。
  5. 支持 yarn-stage dir指定路径。

【Bug Fix】

  1. 修复重启策略选择不生效的问题。
  2. 修复 RM 切换后任务无法启动、停止、提交的问题。
  3. 修复选择文件依赖时前端不显示的问题。
  4. 修复任务启动后因分配资源超时,前端显示启动失败,但Yarn上任务还在就绪状态,重新单击启动后报错的问题。
  5. 修复启动日志异常时日志打印终止的问题。
  6. 修复总览页面异常任务列表异常的问题。
  7. 修复部分项目无法创建流表数据库的问题。

Easystream v3.8.3

【功能优化】

  1. 任务启动时将在运行日志页面实时刷新启动日志。
  2. 登记数据源时支持用户根据需要新增自定义配置。
  3. 下线 Notebook 类型任务。

【Bug Fix】

  1. 修复新建任务弹窗中内核版本下拉框在部分浏览器中显示不全的问题。
  2. 修复数据源列表与数据源详情页中的数据源名称不一致问题。
  3. 修复文件管理中一些 Jar 包下载不了的问题。
  4. 修复 influxdb 的写入 value 长度无限制,导致字符串过长写入失败的问题。

Easystream v3.8.2

【新增功能】

1. CDC 任务支持的数据源类型和读取方式增加,并支持字段映射配置。

入口:CDC 任务

权限:所有用户均有权限。

功能说明:

  1. Oracle 作为源端时,新增 Xstream 增量读取方式。
  2. 新增 Postgre 数据源类型作为源端,支持 pgoutput 和 wal2json 增量读取方式。
  3. 新增 Kafka 数据源类型作为源端。
  4. 新增 MySQL、Oracle、SQL Server 数据源类型作为目标端。
  5. 选择源端表和目标端表后,支持配置字段映射。

使用方式:

  1. 创建 CDC 任务:
    更新合集(2023及历史) - 图18
  2. 选择任意源端和目标端:
    更新合集(2023及历史) - 图19
    更新合集(2023及历史) - 图20
  3. 配置字段映射关系,默认的映射规则为同名映射:
    更新合集(2023及历史) - 图21
  4. 保存任务。

【功能优化】

  1. 新增任务引擎版本 Flink 1.13(仅支持 CDC 任务)。
  2. 优化任务停止速度。
  3. 用户手册 Flink 1.12 开发部分更新。

【Bug Fix】

  1. 修复批量抑制报警接口返回报错问题。
  2. 修复数据源登记页面登记人不可编辑自己登记的数据源问题。
  3. 修复任务开发页面右侧数仓数据tab内右键弹窗不消失问题。

Easystream v3.8.1

【新增功能】

1. 支持流表字段复杂类型登记

入口:新建流表。

权限:所有用户均有权限。

功能说明:在登记流表时,字段类型新增可自定义参数的row、map、array、decimal字段类型,选择这四种类型时,用户可自行配置嵌套参数。

使用方式:

  1. 新建流表-普通字段-选择row/map/array/decimal类型。
    更新合集(2023及历史) - 图22
  2. 根据提示输入参数,保存流表。

2. 支持删除引擎插件

入口:平台管理-任务插件管理

权限:仅平台管理员可操作。

功能说明:在任务引擎插件未被任务使用且处在下线状态时,可被删除,删除后不可恢复。

使用方式:

  1. 平台管理员打开平台管理-任务插件管理页面,选择未被任务使用且处在下线状态的任务插件,单击删除。
    更新合集(2023及历史) - 图23
  2. 确认删除后完成操作。

【Bug Fix】

  1. 修复复制任务时任务负责人未变更的问题。
  2. 修复 Flink 1.10 安装包解压路径错误问题。
  3. 修复启动任务时,将mainJar 加入到了 yarnShipPath 导致任务启动失败的问题。
  4. 修复高级配置中部分配置不可用的问题。
  5. 修复 admin 长期向 yarn 请求已停止任务的任务信息,造成 yarn 负担的问题。
  6. 修复平台初始化过程中报错的问题。
  7. 修复 Rocketmq数据源无法登记流表的问题。