EasyData-V7.0-Update13
数据传输
版本:v3.11.0
新增功能1.【离线同步任务】数据来源和去向新增数据源类型:GaussDB
- 功能介绍:
- 数据来源和去向新增数据源类型:GaussDB,仅支持GaussDB for PostgreSQL,支持的版本为:8.1
- 功能使用注意事项
- 作为来源时仅支持向导模式、不支持SQL模式
2.【实时同步任务】数据去向新增数据源类型:MySQL
- 功能介绍:
- 数据去向新增数据源类型:MySQL,支持的版本为:5.7、8.0
1.【离线同步任务+实时同步任务】参数组适配授权项目
- 功能介绍:
- 任务选择引用参数组时,下拉列表仅展示授权给当前项目的参数组。
- 保存任务时,校验已选取的参数组是否授权给当前项目,存在未授权的参数组则不可保存任务。
- 运行任务时,校验已选取的参数组是否授权给当前项目,如存在未授权的参数组则任务运行报错。
2.【离线同步任务】数据去向为Doris和StarRocks、导入方式为stream load时,新增自定义参数,支持设定去向表新增字段时任务是否报错
- 功能介绍:
- 数据去向为Doris和StarRocks、导入方式为stream load时,支持通过任务的高级设置-自定义参数填写:target.loadColumns,值支持填写:true/false,默认值为true,实现去向表新增字段时任务不报错,离线同步任务不向新增字段写入数据。
- 支持通过EasyOps配置参数,实现对平台下的所有去向为Doris和StarRocks、导入方式为stream load的任务生效,参数名称为:ndi.spark.spark-conf.spark.transmit.writer.doris.loadColumns
- 技术实现方案为:stream load的请求header中加入columns属性,放入去向列名。
3.【离线同步任务】数据来源为Iceberg时,数据去向为Vertica时写入规则支持:copy
- 功能使用注意事项
- 仅数据来源数据源类型为:Hive、MySQL、Oracle、PostgreSQL、StarRocks、Doris、Vertica、Iceberg、FTP-text,且特殊字符替换开关关闭时,写入规则支持选择Copy。
4.【离线同步任务】数据来源和去向为Doris时,新增支持版本:1.2
5.【离线同步任务】数据去向为Doris、导入方式为broker load时,支持指定broker
- 功能介绍:
- 如填写broker,则传输任务基于此处指定的broker导入数据;填写多个broker时随机选取活跃的broker;如未填写broker,则使用数据源登记的账号连接数据源查询broker名称。注意:Doris限制仅数据库管理员账号可查询broker名称,请在数据源登记时登记数据库管理员账号,否则将查询失败。
6.【离线同步任务】数据去向为DM,写入规则支持merge into
- 功能介绍:
- Merge into的实现效果为:遇更新键冲突,更新原记录。更新键建议选择主键,选取多个字段联合作为更新键时,仅当字段拼接值冲突时,会更新原记录。
7.【离线同步任务】发布中心发布离线同步任务时,适配资源发布失败策略
- 功能介绍:
- 发布中心发布离线同步任务时,适配资源发布失败策略,用于实现接收方发布实例包发布到开发模式和发布到线上模式时,遇失败资源是自动跳过还是终止发布。
8.【离线同步任务】离线同步任务支持导出线上模式任务
- 功能介绍:支持批量导出线上模式的任务配置
9.【实时同步任务】数据来源-传输起始位点支持参数组参数
- 功能介绍:
- 具体位置含:
- 来源为Kafka、消费起始位点为时间戳
- 来源为MySQL、消费起始位点为时间戳
- 来源为MySQL、消费起始位点为指定binlog日志-binlog日志位置
- 来源为Oracle、增量读取方式为logminer、消费起始位点为时间戳
- 来源为Oracle、增量读取方式为logminer、消费起始位点为指定scn
- 来源为Oracle、增量读取方式为ogg、消费起始位点为时间戳
- 来源为SQLServer、消费起始位点为指定lsn
- 来源为TeleDB、消费起始位点为指定binlog日志-binlog日志位置
- 来源为TelePG、消费起始位点为指定lsn
- 具体位置含:
10.【实时同步任务】数据来源为Kafka、去向为Kudu时,字段映射-来源的字段类型支持映射去向表字段类型
11.【实时同步任务】新增自定义参数
- 功能介绍:
- 参数名称:cast.opts-to-string.formatted,默认值:false,可选值: true/false。值为true时,将来源MySQL的${op_ts}字段转换为timestamp,时区采用计算节点的机器时区。支持针对任务粒度设置自定义参数,并支持配置EasyOps全局参数针对平台粒度生效。其中,任务级别参数优先级高于EasyOps全局参数。
- 参数名称:ogg-json.time-zone,默认值:UTC。来源为Kafka、序列化格式为ogg-json时,针对${op_ts}和${current_ts}字段,支持通过自定义参数设置时区,默认值为零时区。支持针对任务粒度设置自定义参数,并支持配置EasyOps全局参数针对平台粒度生效。其中,任务级别参数优先级高于EasyOps全局参数。
12.【整体】配合平台整体支持项目禁用功能,禁用的项目的数据传输页面将无法查看。
离线开发
版本:v7.1.7
新增功能1.个人文件和项目文件支持S3存储
- 功能介绍:
- 数据管理的个人文件和项目文件由原来的存储在HDFS上调整为支持存储在S3上,对于S3的文件夹,无法显示文件大小、文件总数和最后修改时间;且无法对S3的文件和文件夹进行重命名。
- 功能使用步骤:
- 该操作需要联系运维开启,未开启时默认还是存储在HDFS上。
2.公共资源下的参数组支持设置可用项目
- 功能介绍:
- 参数组由原来的项目组下面的所有项目共享调整为支持设置授权项目,只有被授权的项目才可以选择使用参数组。
功能使用步骤:
- 功能入口:公共资源-参数组-新建或编辑
- 支持在授权项目中选择项目组同集群的所有项目或指定项目,当选择项目组同集群的所有项目时,项目下离线开发任务、实时计算任务、数据传输任务、质量监控任务选择参数组的地方均可以选择到对应参数组;当选择指定项目时,只有授权的项目才可以选择对应参数组。该操作需要联系运维开启,未开启时默认还是存储在HDFS上。
功能使用注意事项:
- 当任务引用参数组后,如果参数组的授权项目中回收了权限,则任务执行时将会失败。
- 如接收方任务映射的参数组未授权给接收方项目,则“参数组引用”的强规则检测不通过,任务发布会失败。
3.任务支持设置智能跳过
- 功能介绍:
- 离线开发任务支持设置智能跳过,支持设置当满足上游执行失败、下游到达下一执行时间的条件时,直接将实例跳过,不阻塞下一个批次的执行。
功能使用步骤:
- 功能入口:离线开发-编辑调度
- 步骤一:在任务自动重跑的字段下面新增“智能跳过”的开关,开关开启时,下方出现“跳过条件设置”
- 步骤二:在跳过条件设置中,支持两种条件的设置,条件1:延迟时长:表示到达下次执行时间或超出计划执行时间多久之后实例仍未开始执行;条件2:任务依赖:表示当前任务的上游依赖执行失败,支持选择任一执行失败或全部执行失败,不包括节点依赖。如果两个条件均设置,对于添加了任务依赖的实例,只有同时满足才生效。对于未添加任务依赖的实例,只要延迟时长的条件满足时就生效。
功能使用注意事项:
- 对于智能跳过的实例,将打上“智能跳过”的标记。智能跳过具有传递性,当前的实例跳过时,如果下游添加的是任务依赖节点,则下游的实例将跳过;如果下游添加的是节点依赖节点,则下游依赖的节点将跳过。
- 当满足触发条件时,针对已生成的实例,直接返回成功,执行时长为0秒,实例将在任务运维展示,不会真实跑数据;针对未生成的实例,生成实例之后再将实例跳过,实例状态为成功,执行时长为0秒,实例将在任务运维展示,不会真实跑数据。
4.版本对比支持选择历史版本
- 功能介绍:
- 离线开发的任务支持选择开发模式和线上其他版本进行对比,以及线上版本之间的对比。
- 功能使用步骤:
- 入口1:离线开发-版本列表-版本对比
- 入口2:离线开发-提交上线-版本对比 在版本对比页面中支持选择开发模式以及线上模式的版本,选择两个版本后将用右侧的版本作为被比对的版本,可查看左侧的版本基于右侧的版本新增、修改和删除的节点。
- 功能使用注意事项:
- 目前最多支持选择线上模式下的最近10个版本进行对比。
5.离线开发选择节点优化
- 功能介绍:
- 原先选择节点仅支持根据上游节点运行结果来指定下游执行分支,此次升级后,选择节点新增根据上游节点输出参数来指定下游执行分支。例如当上游输出参数为0时执行A分支,上游输出参数为1时执行B分支。
- 功能使用步骤:
- 在离线开发双击选择节点后进入选择节点的编辑页面,选择逻辑可以选择是根据上游节点执行结果,还是上游节点输出参数,若选择上游节点输出参数,需要确保上游节点有指定输出参数。
1.线上模式支持添加到发布池
- 功能介绍:
- 离线开发任务线上模式增加“添加到发布池”按钮,支持直接将任务添加到发布池。
- 功能使用步骤:
- 入口:离线开发-线上模式-添加到发布池
- 点击之后,可直接将任务添加到发布中心的发布池。
- 功能使用注意事项:
- 如果当前“项目-集群”在“发布中心”的“发布策略”中没有有效的在线发布策略,则按钮不显示。如果用户没有任务发布中心的“资源列表-创建相关操作”权限,则“添加到发布池”按钮置灰不可点击。
2.自助分析共享query下无编辑权限时禁止复制SQL语句
- 功能介绍:
- 自助分析共享query中如果没有编辑权限,则禁止在编辑器以及运行结果中复制SQL语句。
- 功能使用步骤:
- 入口:自助分析-项目内共享文件夹
- 如果安全中心未授予编辑的权限,则页面中增加以下限制:编辑器中禁止选中SQL语句、运行结果的SQL模块禁止选中SQL语句、运行历史的复制语句按钮置灰不可点击。
3.新建项目、申请开通新集群、申请开通测试集群的工单迁移至新流协
- 功能介绍:
- 新建项目、申请开通新集群、申请开通测试集群的工单统一在新的流程协作中心进行审批,原先已申请的工单依然在老的流程协作中心进行审批。
4.平台URL上方的logo修改
- 功能介绍:
- 平台URL上方的logo统一修改为easydata。
5.数据开发任务运维-任务列表支持一键清空已选任务
- 功能介绍:
- 项目中心的功能权限中,添加任务时,支持对已选的任务一键清空。
6.队列被授权到其他项目时,资源管理页面队列个数及资源需要增加统计
- 功能介绍:
- 项目中心的集群列表中统计队列和K8S资源池的个数和使用资源时,增加被授权的队列和K8S资源池的统计。
7.代码恢复按钮文案修改
- 功能介绍:
- 代码恢复弹窗中将原来的“编辑器代码”改为“服务器代码”,原来的“自动保存代码”改为“本地缓存代码”。
8.离线开发数据质量监控节点增加文案提示
- 功能介绍:
- 质量监控的set参数旁增加问号提示文案。
9.【离线开发&自助分析】无编辑权限的文案提示修改
- 功能介绍:
- 对于离线开发,线上模式下查看SQL节点和其他外部数据源界节点时,提示语改为:“不支持修改!”;对于自助分析,项目内共享文件夹,没有编辑权限时,提示语改为:“无编辑权限!”。
10.离线开发SQL节点、Spark节点和数据识别节点增加Executor核心数
- 功能介绍:
- 离线开发SQL节点Spark执行引擎、Spark节点和数据识别节点增加Executor核心数字段。 11.公共资源页面调整
- 功能介绍:
- 公共资源页面整体布局调整,在左侧增加目录,分别展示资源组、参数组。
版本:v7.1.6
功能优化1.自助分析格式化后ctrl+z可返回至原样
- 功能介绍:
- 自助分析格式化后,点击ctrl+z可以返回格式化前的内容。
2.自助分析和离线开发greenplum格式化优化
- 功能介绍:修复自助分析和离线开发 greenplum 语法格式化之后自动加空格问题
版本:v7.1.5
新增功能1.SQL节点及外部数据源节点代码编辑器全新升级
- 功能介绍:
- SQL节点及外部数据源节点代码编辑页面UI全新升级,并对代码自动提示、结果集展示等内容进行了优化。
- 功能使用步骤:
- 双击节点进入编辑页面后,既可以进行新版UI交互体验。
代码开发提效的相关功能说明可查看编辑器代码提效
- 双击节点进入编辑页面后,既可以进行新版UI交互体验。
任务运维中心
版本:v1.9.6
功能优化1.任务转交审批工单迁移至新流协
- 功能介绍:
- 若当前项目开通了离线开发任务线上执行个人账号的功能,则在任务运维中心转交任务时需要走工单审批,原先这部分工单的审批是在老流协中进行的,此次升级后,会迁移到新流协进行审批操作。
- 功能使用注意事项
- 原先老流协的工单将不支持审批,若存在未完成的工单,用户需要手动撤回后重新发起转交动作;任务运维中心的转交记录中将不再显示老流协的工单记录。
版本:v1.9.5
新增功能1.补数据支持预览补数实例
- 功能介绍:
- 用户创建补数据任务时,需要设置补数据时间范围和补数据周期,有些情况下涉及实例较多、补数周期较复杂,无法直观看到补数据的实例是否是自己预期的。针对这一问题,任务运维中心支持预览补数实例,在真正创建补数据任务之前,就可以确认即将要补数据的任务是否与预期一致。
1.上游依赖详情列表中支持搜索
- 功能介绍:
- 当某个任务存在较多上游依赖时,如果想找某一个上游任务的话不太方便,此次升级后,查看上游依赖详情的列表均支持按照任务/节点名称搜索,用户可以快速定位某个关注的上游任务查看其完成情况。
实时计算
版本:v3.9.20
功能优化1.配合平台整体支持项目禁用功能,禁用的项目的实时页面将无法查看。
2.实时开发任务中使用的参数组新增项目权限控制。
3.实时任务目标表数据源类型为Hive、 HDFS、Arctic等时,支持查看sink 输出 QPS。
4.优化实时运维模块部分页面交互和视觉效果。
Bug修复1.修复实时项目初始化生成的流表catalog在控制台中可展示且可被删除的问题。
版本:v3.9.19
新增功能1.公共样本支持样本类型选择。
- 功能介绍:
- 公共样本新增样本类型选项,配置后可区分样本使用途径。
- 功能使用注意事项:
- 历史存量公共样本类型将自动配置为“源表”和“目标表”。
- 功能详细使用步骤:
- 新建或编辑样本时支持选择样本类型。
- 样本选择源表类型时,调试功能和任务测试功能的源表样本下拉框中将可选择该样本。
- 样本选择目标表类型时,任务测试功能的目标表下拉框中将可选择该样本。
2.公共样本支持json格式样本。
- 功能介绍:
- 为满足用户使用 cdc 格式数据进行调试或任务测试的需求,公共样本格式由仅支持csv格式改为支持csv和json格式数据,采样消息队列数据源类型时或上传 .json 文件时,调试和任务测试将使用样本原始数据格式。
- 功能使用注意事项:
- 采样消息队列数据源的数据时,仅支持使用json格式解析数据(含canal-json、debezium-json、maxwell-json、ogg-json),消息队列中数据非json格式的将无法解析和保存。
- 功能详细使用步骤:
- 公共样本在线采样消息队列或上传 .json 文件时,样本将按照原始数据格式解析并展示在数据预览区域中,用户可手动切换展示方式到表格展示。此类样本作为源表样本在调试或任务测试功能中使用时,按样本原始数据格式被消费,作为结果表在任务测试功能中进行结果比对时,按json格式解析一级字段后比对。
3.新增平台级开关配置普通用户页面可见权限。
- 功能介绍:
- 用户可自行配置非实时角色用户加入项目后是否可以访问实时开发和实时运维页面。
- 功能使用注意事项:
- 仅实时平台管理员角色用户可修改此配置。
- 开关仅控制页面访问权限,页面内的功能仅实时类角色用户可操作(实时平台管理员、项目负责人、管理员、实时管理员、实时开发、实时运维)。
- 功能详细使用步骤:
- 入口:实时开发管理-平台管理-平台配置。
- 开关默认关闭,关闭效果:非实时角色用户在实时开发和实时运维页面无查看权限;开启效果:非实时角色用户可查看自己加入的项目下的实时任务、流表、文件、样本等资源,但无操作权限。
4.运维大盘关键指标新增输入QPS、输出QPS、Failover次数。
- 功能介绍:
- 运维大盘项目-集群级或平台级关键指标新增输入QPS、输出QPS、Failover次数。
- 功能使用注意事项:
- 所有可访问运维大盘的用户均可查看项目-集群视角下的运维大盘,实时平台管理员可以查看平台视角下的运维大盘。
- 功能详细使用步骤:
- 入口:实时运维页面,选中左侧运维大盘tab,打开运维大盘。
- 在关键指标卡片中,新增输入QPS、输出QPS、Failover次数三个关键指标,指标卡片展示当前页面打开或刷新时的瞬时值,选择某个关键指标后展示该指标下有异常的任务的指标分布情况和对应的任务列表。选择某个分布值时右侧列表会仅展示处于选中的分布值区间的任务列表。
5.运维大盘页面新增全局报警功能。
- 功能介绍:
- 运维大盘新增项目-集群级或平台级全局告警,可监控对应级别的全部任务,达到配置的告警条件时将向指定用户发出全局报警。同时支持查看历史发出的报警记录。
- 功能使用注意事项:
- 在项目-集群视图仅可配置当前项目-集群的全局报警规则,在平台视图仅可配置平台级的全局报警规则。
- 功能详细使用步骤:
- 入口:运维大盘右上角-全局报警。
- 报警规则配置:当前支持配置任务运行失败次数、单任务输入/输出QPS、消费延迟、反压、任务告警次数、Failover次数报警。
- 查看报警记录:选择全局报警记录可查看当前页面所在的视图下的全局报警发送记录。
1.优化任务提交耗时问题。
2.支持配置任务历史状态自动清理开关。
3.实时开发页面任务列表支持拖拽变更任务目录。
4.实时运维任务监控grafana页面嵌入平台页面,无需跳转即可查看任务监控。
Bug修复1.修复grafana密码有特殊字符导致平台组件升级失败问题。
2.修复submiter 对接 cdh yarn 网络 socket 泄漏问题。
3.修复搜索特殊字符 _ %结果有误的问题。
4.修复无法调试同一个任务内不同库下同名表的问题。
安全中心
版本:v3.12.0
新增功能1.支持数据审计日志
- 功能介绍:
- 支持展示数据访问及操作的审计日志,并根据安全等级筛选
- 功能使用注意事项:
- 页面访问权限受角色管理功能权限,安全中心-页面-安全审计 问权限管控,可在项目组、项目任一层级授权
- 审计日志保存市场支持在全局OPS配置,默认为15天
- 一条执行SQL记录为一条审计日志
- 功能详细使用步骤:
- 功能入口:安全中心-安全审计-数据审计日志
1.脱敏白名单配置入口更改
- 功能介绍:
- 脱敏白名单配置更改前位置为安全中心-安全管理-权限配置;更改后位置为安全中心-数据保护-数据脱敏
2.表权限申请工单详情优化
- 功能介绍:
- 表权限申请工单详情优化
数据资产地图
版本:v2.13.0
新增功能1.支持GaussDB表采集、治理、发布、搜索和查看详情
- 功能介绍
- 新增GaussDB数据源类型的适配,包括GaussDB元数据采集、治理、发布、导入导出、搜索和表详情查看。
使用步骤
- 先需要登记GaussDB数据源,然后可创建元数据采集任务,在地图可搜索和查看GaussDB表。
2.元数据注册页支持数据元、标准字典搜索
- 功能介绍
- 添加、编辑元数据时,支持搜索数据元、标准字典。
3.元数据注册列表支持是否精准搜索
- 功能介绍
- 元数据注册列表页,默认支持模糊搜索,如果需要精准搜索可以勾选“精准搜索”,以便过滤相似表名的结果。
1.元数据注册模块性能优化
- 功能介绍
- 之前元数据注册相关页面打开响应较慢,本次做了技术层面的性能优化,提升用户体验。
2.元数据注册列表支持按照最近更新时间排序
- 功能介绍
- 元数据注册列表页新增一列“更新时间”,方便用户按照更新时间来升降序查看数据。
3.hiveOnKudu表增加标识,区分于Hive标识
- 功能介绍
- 之前表详情页用户很难区分hive表和hiveOnKudu表,本次对hiveOnKudu表新增了标识。
4.BI报告血缘添加优化
- 功能介绍
- 手工血缘添加有数BI报告时,优化了BI报告和中台项目组的底层映射配置。
5.表详情页字段列表的展示UI优化
- 功能介绍
- 页面UI展示优化,之前表格字段内容过大时展示效果不友好,本次优化后控制了最大行高和列高,并增加浮框文案。
数据质量中心
版本:v3.6.0
新增功能1.支持SQLserver、oracle、Greenplum数据源与hive数据比对
功能介绍:
- 支持SQLserver、oracle、Greenplum数据源与hive数据比对
功能使用注意事项 :
- 源表数据源类型只能选择hive,比对表数据源类型支持选选择其它
- 结果存储在hive库里
2.支持TDSQL数据源(mysql5.7、mysql8版本 )
功能介绍:
- 质量监控任务支持选择TDSQL数据源作为监控对象,并适配规则模板
功能使用注意事项:
- TDSQL数据源质量监控暂不支持查看异常数据样本和异常数据存储
1.数据质量监控支持离线开发参数组区分项目需求
功能介绍:
- 数据质量监控任务仅可选择和使用公开给当前项目的参数组
2.质量监控任务对接发布中心功能优化
功能介绍:
- 数据质量监控任务发布时支持配置遇失败资源处理策略
3.质量监控任务支持mysql8数据源
功能介绍:
- 质量监控任务支持mysql8数据源
数据服务
版本:v1.6.8
新增功能1.服务编排的UDF节点,支持获取开始节点的参数使用。
功能介绍:
- 服务编排的UDF节点,支持选择是否启用开始节点的参数,可通过在UDF中使用"systemstart参数名称"的方式获取开始节点的参数在当前节点中复用。
1.入参的参数名长度限制扩展
功能介绍:
- 创建入参时,参数名称从最多支持32个字符扩展为支持64个字符。
2.发布中心侧支持在资源列表点击API名称跳转
功能介绍:
- 发布中心的资源列表,数据服务API支持点击名称,可跳转至对应API详情页。
3.发布中心的资源列表,数据服务API资源信息中增加环境类型字段
功能介绍:
- 发布中心的资源列表,有关数据服务API中的资源信息增加环境类型字段,用于区分不同环境下的API。
4.新建API时,在脚本模式下,若数据源为hive/doris/greenplum时,若使用分页参数,SQL语句中必须要有order by才可正确分页,增加提示内容
功能介绍:
- 脚本模式下,当数据源类型为hive/doris/greenplum时,增加提示内容,若使用分页参数,SQL语句中必须要有order by字段才可正确分页。
5.日志分析模块,根据API ID进行搜索的提示优化
功能介绍:
- 日志分析模块,若选择根据API ID进行搜索,当输入内容非整型字符时的报错内容优化。
6.解除API绑定的报警策略时的提示文案优化
功能介绍:
- API绑定报警策略,在进行策略解除时,二次确认弹窗的文案优化。
流程协作与通知中心
版本:v2.3.13
新增功能1.流程设计新增网关节点
- 功能介绍:
- 新建模板时,支持添加网关节点并编辑流转条件,实现不同的审批信息经不同的流程路径流转。目前支持布尔、数值和字符串三种类型的参数,通过选择对应的字段类型,并登记参数名称,设置对应的表达式规则,即表示只有满足该条件的工单才会进入该条分支。
1.部分工单类型支持异常工单撤销
- 功能介绍:
- 新建项目、申请开通新集群、申请开通测试集群三种工单类型的工单审批出现异常时,可以由发起人进行撤销操作。
2.工单审批操作逻辑优化
- 功能介绍:
- 工单审批操作鉴权逻辑调整,仅当前用户为当前节点的审批人时可以对工单进行同意、终止等操作;同时修复原先存在的由我发起的工单链接分享给审批人后,审批人无法审批的问题。
3.工单详情页信息展示优化
- 功能介绍:
- “审批日志”放到“审批链路”上方,方便用户查看工单审批的操作记录;同时“审批链路”默认折叠。
4.工单流转状态新增“处理中”
- 功能介绍:
- 用户在将工单审批同意后,流协会回调子产品执行相应的业务逻辑,此次升级后,子产品执行业务逻辑的过程在流协会显示工单为“处理中”的状态,直到子产品业务逻辑执行完成,流协工单状态会更新为“已同意”。
发布中心
版本:v1.1.2
新增功能1.支持批量匹配资源并添加到发布池
- 功能介绍:
- 资源列表增加“匹配添加到发布池”的功能,支持根据用户输入的批量资源名称去批量匹配资源并添加到发布池。
- 功能详细使用步骤:
- 在资源列表页,点击“匹配添加到发布池”。
- 选择资源类型,并输入资源名称,点击确定。
- 如资源匹配成功则会将资源添加到发布池,如资源匹配失败则会提示匹配失败的资源类型和资源名称。
- 功能使用注意事项:
- 仅当用户输入的资源名称与资源名称完全一致时,方可匹配成功。
- 资源类型暂仅支持离线开发任务。
- 同一资源类型最多可输入200个资源名称,资源名称间换行分隔,最大字符长度限制为26000个字符。
2.Hive表、离线同步任务、质量监控任务、数据服务API适配“资源发布失败策略”
- 功能介绍:
- Hive表、离线同步任务、质量监控任务、数据服务API适配“资源发布失败策略”。本选项选择“自动跳过”,则资源发布失败时自动跳过失败资源,继续发布剩余待发布资源;本选项选择“终止发布”,则表资源发布失败时终止发布,不再发布剩余待发布资源。
1.一键智能添加关联资源时,离线开发任务如依赖Hive视图,不推荐Hive视图
- 功能介绍:
- 由于发布中心不支持发布Hive视图,故离线开发任务如依赖Hive视图,不推荐Hive视图,避免发布包发布失败。
2.发布策略适配“参数组授权项目”
- 功能介绍:
- 参数组为项目组-集群粒度的资源,参数组会“参数组授权项目”设置授权给项目组下哪些项目使用。发布中心-发布策略为项目粒度,发布策略设置参数组映射时,会适配参数组授权项目。
- 针对在线发布的发布策略,发布方参数组仅可选发布方项目获取授权的参数组,接收方参数组仅可选接收方项目获取授权的参数组。检测映射是否失效时,如参数组对发布方/接收方项目收回授权则认为对应的参数组已失效。
- 针对离线发布的策略类型,接收方参数组下拉列表仅可选接收方项目获取授权的参数组。检测映射是否失效时,如参数组对接收方项目收回授权则认为对应的参数组已失效。
3.配合平台整体支持项目禁用功能,禁用的项目的发布中心页面将无法查看。
4.发布包发布性能优化
- 功能介绍:
- 发布包发布性能优化,用于解决发布包资源过大导致发布失败的问题。
5.发布包发布工单的工单摘要信息丰富
- 功能介绍:
- 流程协作与通知中心的发布包发布工单的工单摘要信息丰富:增加“发布包名称“和”发布备注”信息
6.发布实例包列表信息丰富
- 功能介绍:
- 新增“最近发布时间“列、“最近发布模式“列、“最近发布状态“列,并支持筛选。 “发布包其他信息”列新增“发布人”信息。
7.发布中心数据库增加定期清理机制
- 功能介绍:
- 发布包、发布包资源、 发布记录、发布记录资源、发布实例包列表、实例包资源、接收记录、接收记录资源、发布历史、发布历史资源会定期清理数据库数据,默认仅保留仅6个月内数据。同时,支持通过EasyOps配置项修改数据保留时长。
控制台
版本:v1.3.9
新增功能1.【数据源管理】数据源登记新增数据源类型:GaussDB
- 功能介绍:
- 数据源登记新增数据源类型:GaussDB,仅支持GaussDB for PostgreSQL,版本为:8.1。
1、【数据源管理】Doris数据源新增版本:1.2
- 功能介绍:
- Doris数据源新增版本:1.2
2、【数据源管理】数据源查看态视觉优化
数据治理360
版本:v3.0.9
功能优化1.修复在多集群部署资产大盘等任务时,小文件治理数据均为空的问题
功能介绍:
- 修复在多集群部署资产大盘等任务时,小文件治理数据均为空的问题。
UDF Studio
版本:v1.1.2.1
功能优化1.修复因项目禁用导致UDF登录异常的问题
功能介绍:
- 修复因项目禁用导致UDF登录异常的问题。
2.修复UDF函数列表搜索_为空的问题
功能介绍:
- 修复UDF函数列表搜索_为空的问题。
以上内容对您是否有帮助?