EasyData更新记录（2023） - EasyData-V7.0-Update02

数据资产地图
- 版本：v2.6.0
元数据中心
- 版本：v5.7.0
流程协作与通知中心
- 版本：v2.3.7
数据标准
- 版本：v1.9.3
数据质量中心
- 版本：v2.10.0
数据安全中心
- 版本：v3.9.5
UDF Studio
- 版本：v1.0.7
发布中心
- 版本：v1.0.2
离线开发
- 版本：v7.0.6
任务运维中心
- 版本：v1.8.4
控制台
- 版本：v1.2.16
数据传输
- 版本：v3.4.1
实时计算
- 版本：v3.9.12
- 版本：v3.9.13

数据资产地图

版本：v2.6.0

新增功能

1.新增字典码值详情查看功能

功能介绍：
- 在注册和查看元数据时，增加查看字典码值详情的功能，解决用户在注册或查看元数据时，无法直接查看字典对应的码值详情问题
注意事项：
- 无
使用步骤及功能页面：
a. 点击元数据注册，在字段信息页选择某个字典后可以查看详情；搜索表后进入表详情页，也可以查看字典详情

2.新增安全等级自动同步到元数据功能

功能介绍：
- 安全中心识别字段安全等级后，会将识别出来的安全等级同步到元数据侧，以便用户查看表及字段时能知晓安全等级信息
注意事项：
- 无
使用步骤及功能页面：
a. 先在安全中心创建识别任务，选择需要识别安全等级的表

b. 查看识别结果中的安全等级

c. 在地图查看表详情时，可查看到字段的安全等级、表的安全等级（默认取字段最高安全等级）

3.新增下游任务代码查看功能

功能介绍：
- 在表详情页面中，如果当前表存在下游任务，支持查看下游任务具体的SQL脚本
注意事项：
- 无
使用步骤及功能页面：

4.采集实例新增结果统计和排序功能

功能介绍：
- 在元数据采集页面支持快速查看采集结果统计情况，支持按照变更表、未变更表、新增表等不同维度来升降排序。
注意事项：
- 无
使用步骤及功能页面：

功能优化

1.元数据注册列表增加重置按钮

功能介绍：
- 当筛选条件较多时，支持一键重置清空筛选项
注意事项：
- 无
使用步骤及功能页面：

2.表详情页修改负责人同名显示优化

功能介绍：
- 修改表负责人时，增加邮箱信息来区分同名用户
注意事项：
- 无
使用步骤及功能页面：

3.物理视图增加表负责人筛选

功能介绍：
- 增加表负责人的筛选项，帮助用户快速找到指定人员负责的表
注意事项：
- 无
使用步骤及功能页面：

4.搜索页增加“已治理”的筛选项

功能介绍：
- 在搜索表时，增加已治理的筛选项，帮助用户快速筛出已治理的表
注意事项：
- 无
使用步骤及功能页面：

5.导航栏支持项目描述信息

功能介绍：
- 导航栏切换项目时，在项目名称后面增加项目描述信息，方便用户了解项目
注意事项：
- 无
使用步骤及功能页面：

6.优化采集任务

功能介绍：
- 元数据采集任务列表增加筛选项“采集类型”、“最近采集状态”，并且优化查看实例的跳转交互，原来是新开页面跳转，现在优化为切换到实例tab页即可
注意事项：
- 无
使用步骤及功能页面：

7.一级目录切换优化

功能介绍：
- 原先用户在编辑、查看元数据后，再次返回列表时左上角目录树会被自动切换为默认的第一个目录，导致用户需要手动切回原来的目录；优化后，用户切换目录编辑或查看元数据后保持目录树不变
注意事项：
- 无
使用步骤及功能页面：

BUG修复

1.修复物理表中文名称带特殊字符，元数据详情页，物理表中文名称字段展示转码问题。
2.修复oracle物理表详情页，查看下游任务列表为空问题。
3.修复版本对比差异项红色标识没有展示出来问题。
4.修复(多集群)在表详情页切换集群，会跳转到搜索页，搜索页的结果和右上角的集群不一致问题。
5.修复全量检索部分库无法过滤问题。

元数据中心

版本：v5.7.0

新增功能

1.指标关联类型新增MySQL、Oracle、Greenplum、Vertica数据源类型

功能介绍：
- 指标关联的数据表类型除了Hive，新增其他数据源类型包括MySQL、Oracle、Greenplum、Vertica
注意事项：
- 无
使用步骤及功能页面：
a. 点击查看指标列表及详情，可查看具体关联该指标的表及字段信息

2.数据源新增Iceberg（暂无产品页面）

功能介绍：
- 通过运维操作在后台登记Iceberg数据源，暂不支持产品页面上登记
注意事项：
- 需运维后台操作
使用步骤及功能页面：
- 暂无，普通用户无需操作

3.新增数据源密码加密存储

功能介绍：
- 登记数据源后，数据源密码在数据库中加密存储
注意事项：
- 当前版本暂时仅支持单个数据源登记后加密存储，批量登记数据源暂不支持加密存储，下个版本计划支持批量登记后加密存储
使用步骤及功能页面：
- 无需用户操作加密，只要登记后系统自动加密存储

4.新增表血缘和字段血缘OpenAPI

功能介绍：
- 支持表血缘和字段血缘的OpenAPI
注意事项：
- 无产品页面
使用步骤及功能页面：
- 详请咨询技术支持及查看OpenAPI文档

功能优化

1.DB2数据源新增版本10.5

功能介绍：
- 元数据中心支持DB2 10.5
注意事项：
- 无
使用步骤及功能页面：
a. 数据源登记页可选择DB2 10.5版本

流程协作与通知中心

版本：v2.3.7

新增功能

1.新画布适配

功能介绍：
- 除任务运维补数据外，其它所有已经接入的flowable画布迁移到新画布内
注意事项：
- 无
使用步骤及功能页面：

2.工单详情页流程图新画布适配，所有的工单详情流程图通过新画布渲染

功能介绍：
- 无
注意事项：
- 无
使用步骤及功能页面：

3.工单详情支持展示审批人，并通过不同颜色标识待审批

功能介绍：
- 无
注意事项：
- 无
使用步骤及功能页面：

4.工单详情页展示工单状态

功能介绍：
- 无
注意事项：
- 无
使用步骤及功能页面：

5.模版列表页可按模版key模糊搜索

功能介绍：
- 无
注意事项：
- 无
使用步骤及功能页面：

6.新模版接入

功能介绍：
- 流协新接入离线开发“提交上线申请”模板、离线开发“申请删除Hive库”模板、离线开发“注册K8S资源池”模板、离线开发“修改K8S资源池”模板以及离线开发“修改个人hdfs配额”模板
注意事项：
- 无
使用步骤及功能页面：

功能优化

1.“数据地图”改名“数据资产地图”。
2.“我已处理”模块增加“异常”状态筛选。

BUG修复

1.修复并行网关无法识别加签节点问题。
2.修复审批过的工单详情返回NULL问题。
3.修复非当前项目里的人通过审批通知的链接进入流协审批工单有非必要的报错问题。
4.修复当前所在项目集群与跳转至流协的项目集群不一致问题。
5.修复流协右上角项目集群下拉列表存在许多没有关联集群的项目数据问题。
6.修复新流协登出跳转到无效空白页，刷新无效问题。
7.修复自助分析下载申请工单，工单执行已完成，但工单详情中国业务执行状态仍为“执行中”问题。
8.修复自研画布生成的工单，工单列表页的工单编号和工单详情中的工单编号不一致问题。
9.修复我已处理中有异常状态，但工单状态列无异常状态项供筛选问题。
10.修复撤销文案问题。
11.修复优流协导航栏名称的实时展示问题。
12.修复模板节点遍历的底层算法，支持开始节点后是并行网关、排他网关的情况问题。
13.修复自助分析下载申请模板的业务状态的历史脏数据问题。
14.修复严选环境的地图、安全中心强启动依赖问题。

数据标准

版本：v1.9.3

新增功能

1.新增对数据元、字典按状态对列表进行重新排序

功能介绍：
- 通过状态按钮支持对数据元、字典重新排序，方便状态的查看和梳理
注意事项：
- 无
使用步骤及功能页面：

2.新增数据元的值域字典展示详情信息（预览效果），包含枚举值内容

功能介绍：
- 支持在数据元详情直接查看字典代码列表，并支持跳转到字典页面查看详情
注意事项：
- 仅当值域为标准字典时可用
使用步骤及功能页面：

3.数据元取值区间支持常见枚举并优化交互方式

功能介绍：
- 支持通过可视化配置的方式配置取值区间，支持区间并集
注意事项：
- -∞,+∞仅允许使用开区间，最多支持3个区间并集，若区间存在重合，系统将自动合并
使用步骤及功能页面：
a. 当值域选择取值区间时，可点击编辑按钮进行编辑

4.新增数据项移动功能

功能介绍：
- 数据项分类已经创建就无法挪动到其他目录，支持编辑时移动该节点的父级目录
注意事项：
- 分类目录仅允许移动到分类目录下
- 分类方案仅允许移动到分类目录下
- 分类值仅允许在当前分类方案下移动
使用步骤及功能页面：
a. 进入数据项分类，在树节点点击编辑，或者在分类详情页点击编辑按钮，即可选择父级目录

功能优化

1.数据元详情页优化

功能介绍：
- 为突出数据元详情页重点信息，优化排版
注意事项：
- 无
使用步骤及功能页面：

2.数据标准更新时间应单独记录

功能介绍：
- 之前修改时间使用的时技术修改时间（数据库关键字），当记录发生变化时，修改时间就会发生变化，但用户并没有进行任何操作，因此新增业务更新字段，技术更新字段不对用户展示
注意事项：
- 无前端页面展示
使用步骤及功能页面：
- 后端调整，无页面展示

数据质量中心

版本：v2.10.0

新增功能

1.新增excel批量导入质量监控任务功能

功能介绍：
- 支持通过excel导入质量监控任务，任务名称默认为dqc表名时间戳，默认一张表（分区）创建成一个监控任务
注意事项：
- 当前版本仅支持导入hive自定义规则
使用步骤及功能页面：

2.数据质量对接UDF Studio

功能介绍：
- 数据质量支持在规则模板和自定义规则中引用UDF Studio中适用产品为数据质量的、有权限的、处于发布状态UDF函数
注意事项：
- 函数如果不存在、无权限、未上线，质量监控任务运行时报错
使用步骤及功能页面：
a. UDF Studio支持数据质量中心页面 b. 数据质量中心新建/编辑自定义字段级规则页面 c. 数据质量中心新建/编辑自定义表级规则页面

功能优化

1.优化新建/编辑规则内容，支持规则编码字段

功能介绍：
- 无
注意事项：
- 无
使用步骤及功能页面：

2.优化监控任务及规则异常数据存储开关

功能介绍：
- 在配置管理的异常数据配置页面，支持异常数据存储开关配置。当开关开启时，hive库表的质量监控任务运行时会自动存储异常数据样本
注意事项：
- 无
使用步骤及功能页面：

3.优化自定义规则的规则描述，支持引用字段值

功能介绍：
- 规则描述支持调用 $[ColumnName:defaultValue]。该函数表示动态获取ColumnName字段，如果值不存在则使用 defaultValue 作为默认值。通过该功能可在异常数据样本描述列中，逐行读取该字段内容填入规则描述的相应位置
注意事项：
- 仅自定义规则的规则详情支持
使用步骤及功能页面：

4.数据比对形态探查字段取消数量上限并增加全选按钮

功能介绍：
- 数据比对和形态探查选中的字段取消上限，测试边界定为1000，保证1000以内可以跑通
注意事项：
- 无
使用步骤及功能页面：

BUG修复

1.修复安全中心异常导致报告订阅模板页面打开异常问题。
2.修复项目名称中有小数点时 DQC同步表负责人异常问题。
3.修复DQC自定义规则实例成功返回结果为空问题。

数据安全中心

版本：v3.9.5

新增功能

1.新增权限及资源交接

功能介绍：
- 应对用户离职转岗场景，提供一个统一的入口将项目组项目下各模块的资源（任务、函数等），统一转交给指定实体接收人
注意事项：
- 当前版本未对接子产品
使用步骤及功能页面：
a. 权限批量转交，批量选择具体数据权限（库、表、列权限），点击转交权限，可将所选权限转交给指定的权限接收对象

b. 资源负责人批量转交，资源负责人指平台子产品的资源负责人，如开发任务负责人、数据服务API负责人
c. 整体转交，支持将用户A指定类型下的所有资源批量转交给用户B。资源分为项目组级别资源和项目级别资源，项目组资源仅项目组管理员、项目组负责人可操作，项目资源仅项目管理员、项目负责人可操作

2.新增数据识别结果展示，同时支持字段的敏感类型识别结果固定此次选择

功能介绍：
- 用户在使用数据识别中，对字段的敏感类型结果进行调整并固定此次扫描结果。同时在汇总页面查看字段最终的敏感类型和安全等级、被固定的敏感类型和安全等级以及每次执行的结果
注意事项：
- 当前版本未对接子产品
使用步骤及功能页面：
a. 在数据识别结果页面中，可固定此次敏感类型选择

b. 结果汇总页面，父表格支持展示当前字段已生效敏感类型、已生效安全等级、已生效脱敏规则等信息，子表格展示该字段关联的每次识别任务的扫描结果；编辑功能支持编辑敏感类型和脱敏规则，支持固定此次选择，也可取消固定；删除功能支持删除该字段上的敏感类型的标签、安全等级标签和已固定逻辑

3.新增脱敏算法，支持数字的区间变换

功能介绍：
- 算法配置：脱敏前数值范围（支持到小数点后两位）、脱敏后数值（支持到小数点后两位）
注意事项：
- 适用于bigint、int、double、decimal等数值型字段，将指定数值范围内的数据脱敏为固定的值，可添加多个区间范围，至少1个，至多10个
使用步骤及功能页面：
a. 在新增脱敏规则页面，用户选择“区间变换”算法，支持用户输入脱敏前数值范围（支持到小数点后两位）、脱敏后数值（支持到小数点后两位），区间为左闭右开，区间中断部分不脱敏。整型会忽略掉小数点后的部分；最多配10个区间，支持填写+∞和-∞；区间之间不可交叉

4.iceberg接入权限管控（无产品页面展示）。

功能优化

1.操作审计支持按照IP、动作详情搜索。
2.安全等级改为项目组级别页面并对接功能权限

功能介绍：
- 原页面由项目级调整为项目组级，项目和项目组均可查看
- 仅项目组级接入编辑功能权限，编辑权限覆盖页面3个编辑按钮
- 敏感类型数据合并时取所有项目并集，自定义的有重名则加后缀_项目名
- 等级名称和等级说明数据合并时取随机项目结果
注意事项：
- 无
使用步骤及功能页面：
- 无

3.权限申请支持展示表和字段的中文名。
4.ops支持配置权限到期发送通知的时间。
5.我的权限 “只查看即将到期 ”移到搜索框旁边。

BUG修复

1.修复只申请列权限，提交申请提示需选表权限，提交不了；表权限、列权限都选时，表权限应清空问题。
2.修复用户在表上有行条件，查询有权限的列，报无表权限问题。
3.修复通过hive查询sparkclient创建的脱敏视图报错问题。
4.修复输入框没有做最大限制问题。
5.修复敏感类型，修改安全等级提示成功页面内容未刷新问题。
6.修复访问敏感类型第2页会加载第1页的数据问题。
7.修复数据脱敏页面，按照库名搜索只能在当前页面中搜索问题。
8.修复敏感类型安全等级修改后不能即时生效问题。
9.修复页面响应很慢，实际上没什么数据，但是经常显示在转圈问题。
10.修复安全中心owner对接CDH导致表负责人无删表权限问题。
11.修复静态脱敏，下拉展开后，切换页面还是展示下拉的数据问题。
12.修复选择某一时间段的审计日志，点击【下载】按钮，按钮无效的问题。
13.修复除权限中心页面，其余菜单栏页面进入后点击浏览器刷新，前端报错，页面url停留在accessloading页问题。
14.修复用户建表没有权限的问题。

UDF Studio

版本：v1.0.7

新增功能

1.UDF Studio支持数据质量中心

功能介绍：
- 无
注意事项：
- 无
使用步骤及功能页面：

BUG修复

1.修复因并发问题引起的工单审批异常的问题。
2.修复对接产品运营大盘，引用频率指标异常的内容问题。

发布中心

版本：v1.0.2

新增功能

1.支持同集群跨项目资源发布，当前支持发布离线开发任务、表DDL

功能介绍：
- 原本同集群跨项目发布，会因为同集群下，任务project标识冲突、hive库冲突、yarn队列冲突等问题而不可发布。此次引入了项目-集群粒度的任务uuid标识、项目映射、hive库映射、yarn队列映射等方式，并丰富了跨项目任务依赖映射，以及离线开发任务的输入输出表变为弱规则等方式，支持了同集群跨项目发布
注意事项：
- 当前仅支持发布离线开发任务、表DDL
使用步骤及功能页面：
a. 在发布策略详情中配置项目映射信息

b. 在发布策略的“队列映射”中，配置发布方项目和接收方项目中yarn队列的映射关系

c. 在发布策略的“Hive库映射”中，配置发布方项目和接收方项目中库的映射关系
d. 按照任务uuid > 任务project > 任务名称的优先级，找到上游任务，并替换对应的project标识。对于使用的yarn队列，就会按照队列映射中配置，将任务中的队列，替换成接收方的队列；对于使用的hive库，就会按照Hive库映射中配置，将任务的输入输出表的库，替换成接收方的库，再进行接收方的检测
e. 对于表ddl资源创建，也会按照Hive库映射后，进行检测，并提示hive表已被替换的提醒。同时，生成的ddl语句，也是基于接收方的库生成

功能优化

1.工单审批权限控制优化

功能介绍：
- 工单审批权限控制优化，支持控制到具体的接收策略粒度
注意事项：
- 无
使用步骤及功能页面：
a. 安全中心项目或个人的权限配置页面

b. 安全中心项目或个人的权限配置页面，选择具体接收策略

2.发布策略中，配置映射信息支持控制到具体的发布策略和策略下的映射分类粒度

功能介绍：
- 无
注意事项：
- 无
使用步骤及功能页面：
a. 在安全中心项目或个人的权限配置页面，选择具体发布策略

b. 安全中心项目或个人的权限配置页面，选择具体发布策略的二级配置项

3.“发布策略”页面调整

功能介绍：
- “发布配置”菜单更名为“发布策略”，并且因发布中心的粒度从“项目组”粒度改为“项目”粒度，原本的发布配置记录拆分到了每个项目
- 对于一条记录，引入了“发布策略”概念，用于发布中心资源的发布，并且对于历史数据，都做了自动命名，拼接规则为“发布方项目-集群”发布到“接收方项目-集群”
- 发布策略，可用于安全中心项目级别的权限控制，用于控制项目下哪些成员可以进行资源发布等
注意事项：
- 无
使用步骤及功能页面：

4.“接收策略”页面调整

功能介绍：
- “接收配置”菜单更名为“接收策略”，并且因发布中心的粒度从“项目组”粒度改为“项目”粒度，原本的接收配置记录拆分到了每个项目
- 对于一条记录，引入了“接收策略”概念，并且对于历史数据，都做了自动命名，拼接规则为“接收方项目-集群”接收“发布方项目-集群”
- 接收策略，可用于安全中心项目级别的权限控制，用于控制项目下哪些成员可以审批资源发布工单
注意事项：
- 无
使用步骤及功能页面：

5.“连接实例管理”页面调整

功能介绍：
- “平台连接配置”菜单更名为“连接实例管理”
- 默认增加了“当前平台”的连接实例
注意事项：
- 无
使用步骤及功能页面：

6.发布资源列表，离线开发任务检测中，针对输入输出表，改为了弱规则，工单执行时可不阻塞工单审批通过

BUG修复

1.修复了资源审批后，设置资源负责人时，接收方不存在发布方的成员而报错的问题。

离线开发

版本：v7.0.6

功能优化

1.离线开发左侧任务树优化

功能介绍：
- 对离线开发搜索任务和文件夹时交互方式进行了调整，并解决了离线开发任务较多时页面的卡顿问题
注意事项：
- 无
使用步骤及功能页面：
a.左侧任务树支持按照任务或文件夹进行搜索

b.搜索时，下方支持展示任务的路径

c.搜索文件夹时，支持对文件夹直接定位，点击icon后将在列表中定位至该文件夹

2.涉及任务树的弹窗优化。
3.优化重命名、删除文件夹。
4.自助分析优化一键到底/到顶按钮重叠问题。

BUG修复

1.修复了离线开发任务拖动移动目录可以移动到父目录无法移回去问题。
2.修复了修复openapi 获取任务列表和获取文件夹列表问题。
3.修复了离线开发任务重命名后跳转发布中心显示重命名之前的任务名问题。
4.修复了离线开发任务树同步问题。
5.修复了搜索任务右键删除，搜索结果中任务仍存在问题。
6.修复了任务重命名光标定位，未做修改点击确定或光标失焦，标红提示任务不能重名问题。
7.修复了新建任务并提交上线，前端显示错位问题。
8.修复了嵌套流节点嵌套任务下拉列表无法列出新提交上线的任务问题。
9.修复了/v4/dw/table/showcreatetbl 对于纯数字或带特殊字符表会报语法错误问题。
10.修复了引用参数组报错问题。
11.修复了修改hive表属性报错/v4/dw/hive/table/properties/alter问题。

任务运维中心

版本：v1.8.4

新增功能

1.补数据支持复用

功能介绍：
- 用户想要对同一批任务再次进行补数据，可以在补数据实例运维列表中找到对应补数据任务，点击操作栏中的“复用”按钮，系统会自动选中对应的补数据任务中的源头任务和下游任务，用户可以快捷对对应的任务和节点进行补数据操作，不需要再去选取一遍相关任务和节点
注意事项：
- 无
使用步骤及功能页面：

2.补数据支持批量重跑

功能介绍：
- 用户想要对补数据任务中异常任务进行批量重跑或终止操作，可以勾选对应的实例，并点击“批量重跑”或“批量终止”按钮，不需要再去一个一个实例点击操作
注意事项：
- 无
使用步骤及功能页面：

功能优化

1.批量补数据时支持筛选用户有权限的任务

功能介绍：
- 批量补数据的时候，新增选项“我有权限的”，默认选中，选中后，仅展示当前用户有补数据权限的任务
注意事项：
- 无
使用步骤及功能页面：

2.实例负责人优化

功能介绍：
- 原先实例负责人为快照保存，即取的是实例生成时的任务负责人，这次调整为取任务实时负责人，即实例负责人为任务当前最新的负责人。仅任务当前最新负责人默认有实例的相关操作权限
注意事项：
- 无
使用步骤及功能页面：
- 无

BUG修复

1.修复了实例血缘与azkaban数据不及时同步的问题。
2.修复了任务运维实例失败未处理数出现显示为0的问题。
3.修复了血缘诊断页面查看详情弹窗里编辑按钮未受权限控制的问题。
4.修复了血缘诊断里获取上游节点失败导致提示缺少依赖的问题。

控制台

版本：v1.2.16

新增功能

1.数据源密码支持加密存储。

功能优化

1.DB2数据源登记新增10.5版本。

功能介绍：
- 无
注意事项：
- 无
使用步骤及功能页面：

2.源系统账号映射支持搜索本平台账号及视觉优化

功能介绍：
- 无
注意事项：
- 无
使用步骤及功能页面：

BUG修复

1.修复用户无权限访问页面展示不合理的问题。

数据传输

版本：v3.4.1

功能优化

1.离线同步任务，DB2适配10.5版本。
2.离线同步任务新增接口：用于给安全中心返回脱敏字段和传输任务链接。
3.离线/实时同步任务数据来源为Kafka解析Topic失败的报错文案优化。

实时计算

版本：v3.9.12

新增功能

1.新增实时数仓表查询列表

功能介绍：
- 实时开发页面左侧流表tab升级为实时数仓tab，提供查询已登记的流表和其他数据源类型的表信息的功能
注意事项：
- 无
使用步骤及功能页面：
a. 进入实时开发页面，点击页面左侧目录中的实时数仓按钮
b.页面内左侧任务树切换为实时数仓查询栏，用户可筛选数据源类型、数据源、库，进而查看表列表和表的字段信息

c.当用户查看表信息时，点击表名左侧的展开按钮后，可查看表字段信息，右键点击表名可查看表详情或复制库表信息和字段信息，当用户查看的表为流表时，点击流表表名旁的“i”icon，可查看流表的简要信息 d. 用户可通过拖拽表名或字段名到 SQL 编辑框内进行表名或字段名的复制。

2.实时流表登记支持解析DDL获取字段和配置信息

功能介绍：
- 流表登记时，字段列表上方新增DDL解析按钮，可由用户输入 Flink table 的 DDL 语句，平台通过语句解析获取字段和配置信息
注意事项：
- 目前仅支持解析符合 Flink 1.14 语法的 DDL 语句
- DDL 语句的配置中的connector类型、数据源连接、库表（topic）、groupid将被忽略不进行解析，对应信息以页面表单内选择的信息为准
使用步骤及功能页面：
a. 进入流表登记页面，点击字段列表上方的 DDL 解析按钮，打开DDL解析侧边栏

b. 在 DDL 侧边栏内输入 DDL 语句，之后点击解析按钮，解析结果将自动填入字段列表和配置列表

3.实时流表登记支持登记主键、METADATA字段、计算列、watermark

功能介绍：
- 流表登记时，可配置主键、METADATA字段、计算列、watermark
注意事项：
- 无
使用步骤及功能页面：
配置主键：
a. 当数据源类型为 Kafka、RocketMQ、Pulsar时，仅支持在序列化方式为canal-json、debezium-json、maxwell-json等CDC格式时进行主键配置
b. 在字段列表中，勾选需要被配为主键的字段设为主键。支持同时勾选多个字段设为联合主键

配置METADATA字段:
a. 当数据源类型为 Kafka 时，支持配置 METADATA 字段
b. 将需要配置为 METADATA 字段的字段类型设为 METADATA 字段，之后在输入框中输入 METADATA 字段的字段类型和表达式，如：BIGINT METADATA

配置计算列：将需要配置为计算列的字段的字段类型设为计算列，之后在输入框中输入计算列表达式，如：AS proctime()

配置watermark： a. 仅字段列表中字段类型为 timestamp(3) 的字段可被配置为 watermark
b. 在下拉框中选择要被配置为 watermark 的字段，之后选择 watermark 计算式，若选择 AS {selected colume} - INTERVAL 'string' timeUnit，则还需输入时间界限，如5 second

4.实时流表登记支持配置表可用类型标签

功能介绍：
- 可在登记或编辑流表时，配置表可用类型标签
注意事项：
- 无
使用步骤及功能页面：
a. 登记或编辑流表时，可选择表可用标签，此标签可选的选项范围根据流表数据源类型支持的类型展示，如 Kafka 数据源仅支持作为源表和目标表使用，则标签仅提供源表和目标表两个选项，可多选

b. 此配置仅作为标签信息，实际使用表时未进行使用方式限制。如将一张 Kafka 流表配置为源表，在实际任务中，此表依然可以作为目标表被使用

5.实时SQL任务支持强制提交

功能介绍：
- 当任务语法检查未通过时，管理员可强制将任务提交上线
注意事项：
- 仅项目负责人、管理员、实时管理员可使用此功能
使用步骤及功能页面：
a. 当用户点击提交上线按钮后，任务解析不成功或语法检查未通过时，管理员可看到强制提交按钮，点击后可强制将任务提交上线

功能优化

1.新建或编辑流表时，支持预览表 DDL 语句。
2.新建或编辑流表时，支持进行语法检查。
3.新建流表库的库名支持使用数字。
4.优化SQL任务语法检查和调试功能交互。

BUG修复

1.修复SQL任务Source块缺少必填参数的问题。
2.修复插件调用异常的问题。
3.修复运维大盘部分指标显示有误或不显示的问题。
4.修复部分部署过程中文件过大的问题。

版本：v3.9.13

新增功能

1.实时流表登记新增MySQL、Oracle、Elasticsearch、HBase、Kudu类型的流表

功能介绍：
- 可将MySQL、Oracle、Elasticsearch、HBase、Kudu的表登记为流表，同时登记流表配置参数，登记后可在任务中直接引用流表进行复用
注意事项：
- HBase流表的特殊要求：请将HBase表的rowkey（非row类型）定义为主键（限一个），column family定义为row类型的一级字段，column qualifier 定义为对应 column family 的嵌套字段
- Kudu流表的特殊要求：必须设置主键
使用步骤及功能页面：
a. 入口：实时开发-实时数仓列表右上角新建流表按钮

b. 流表登记时，流表数据源类型新增MySQL、Oracle、Elasticsearch、HBase、Kudu选项

c. 选择上述数据源类型时，当选择流表对应的物理表的源、库、表信息后，可使用从数据库获取字段的快捷方式填充字段列表。具体数据源类型的不同字段类型与流表字段类型的映射关系请参考用户手册

d. 可在配置列表中配置流表的参数
e. 在任务中使用[db].[table]的方式即可引用登记好的流表

2.实时SQL任务、Jar任务、流表、文件支持批量下载、上传

功能介绍：
- 可将实时SQL任务、Jar任务、文件、流表进行批量打包下载，并可在不同项目、平台间进行上传，同时支持查看上传历史记录
注意事项：
- 仅项目负责人、管理员、实时管理员、实时开发、实时运维角色可进行下载和上传操作
使用步骤及功能页面：
功能入口：实时开发-任务列表上方下载/上传功能icon

下载发布包：
a. 点击下载发布包按钮后，进入创建和下载发布包流程中。第一步进行发布资源选择，可切换不同tab选择不同类型的资源。（注意：任务资源中仅可选择已提交的SQL和Jar任务。流表列表当前版本仅可展示某个流表库下的流表（即实时流表列表里流表库筛选项必选某个库），后续版本将尽快修复）

b. 勾选需发布的资源后，可点击下一步按钮，当勾选的资源中包含实时任务时，将进入选择任务关联资源步骤，当勾选的资源中无实时任务时，将直接进入确认发布内容步骤
c. 在勾选任务关联资源步骤中，可选择是否同时下载任务的依赖文件

d. 在确认发布内容步骤中，可确认全部勾选的资源内容，若第二步中勾选了同时打包任务依赖文件，则在实时文件列表中被依赖的文件也将被展示

e. 确认发布资源后，可点击打包按钮，点击后开始进行打包。打包资源个数上限为2500个，发布包大小不超过200 MB（发布包大小上限可通过运维参数调整）

f. 打包完成后将自动触发浏览器下载弹窗，若未自动触发，可点击手动下载按钮进行下载

上传发布包：
a. 点击上传发布包按钮，进入上传发布包流程。第一步为上传发布包，可选择200 MB以内的格式为“.zip”的文件。（文件大小限制可通过运维配置修改）

b. 文件上传后将自动进行解析，解析成功后可进入下一步
c. 第二步为配置导入策略，可配置资源负责人策略和同名资源处理策略。同时页面将展示按配置的策略进行资源导入检测后的检测结果，用户可根据检测结果调整接收方环境，之后可点击重新检测按钮进行再次检测。如导入资源中有实时流表时，需配置流表的数据源映射关系，导入时流表数据源将按照映射关系进行替换。（注意：导入运行配置时，资源实例、队列、提交账号、提交方式将按照接收方默认配置或已有配置展示，不会同步导入）

d. 完成全部配置后可点击导入进行资源导入，资源开始导入后导入过程不可取消或停止。用户可在导入资源页面查看资源导入结果

e. 当导入资源中有成功导入的实时任务时，可选择一键提交导入的任务，提交结果可在一键提交页面查看

上传历史记录：
a. 点击上传历史记录按钮，进入上传历史记录页面。用户可在此页面中查看全部进入了导入阶段的发布包记录并可再次提交发布包中的任务或通过执行日志查看发布结果