更新时间：2021-12

本文为您介绍大数据开发平台最新的更新动态，基于此您可以了解大数据开发平台增加了哪些新功能、更新了哪些新特性等，进一步提高您的开发效率。

以下为基于EasyData-V6.4.0版本的增量更新的核心内容：

1 平台整体

1.1 改造

1）除离线开发外各子产品模块完成微前端改造，统一域名

2 指标系统

2.1 功能新增

1）项目配置中心改版

项目配置中心，分为自定义指标模板、口径隐藏和审批设置三个功能项

2）自定义指标模板——指标类型

3）自定义指标模板——系统通用字段

4）自定义指标模板——自定义字段

5) 自定义指标模板——指标标识生成方式

6) 自定义指标模板——模板预览

7) 批量上传

上传文档中，若指标名称或指标标识重复，均进行提示，可选择是否上传进行更新覆盖

针对自定义指标模板的内容，批量上传的模板同步更新，增加自定义字段以及枚举等字段类型的校验

8) 自定义列表展示内容和筛选项

9) 指标字典列表的表头筛选

系统默认通用字段是一定会展示的，表头过滤可根据用户自定义字段是否在列表中展示而变化，可选择在表头中过滤

10) 指标域管理中增加域标识，包括同步或新建均有域标识

2.2 功能完善

1）指标管理者角色权限提高，由原本只有新建权限，提升为对指标系统有最高权限

2）指标系统从模型设计中心同步主题域，若在模型设计中心修改了主题域，指标系统的主题域也需要同步更新主题域名称

2.3 BUG修复

无

3数据传输

3.1 功能新增

1）支持数据传输任务引用参数组

2）支持读取跨集群Hive数据源，实现Hive2Hive跨集群复制

3）数据来源端为Oracle数据源时，支持同义词模式

4）增加数据去向端为Vertica、写入规则为Copy时的配置项

5）数据传输适配Spark2.4.7版本

6）数据去向为：MySQL，新增写入规则：On duplicate key update（遇主键/唯一索引冲突，更新原记录，未映射字段值不变）

7）增加数据传输页面水印，水印内容为个人账号（邮箱）前缀

3.2 功能完善

1）FTP导入txt文件时去除引号

2）任务类型命名修改：【普通类型】改为【向导模式】，【SQL模式类型】改为【SQL模式】
3）描述栏行高缩减为单行

4）优化任务类型为SQL模式时，跨库查询SQL语句导致的血缘问题

1. 删除下拉选择数据库，读取SQL栏的SQL语句由填写表名称改为填写库表名称

2. 库表名称栏：在库表名称栏自动解析并填充SQL语句中的库表名称；若库表名称带参数无法解析，则库表名称变更为编辑态由用户手动填写

5）离线同步任务创建过程中，高级配置允许value为空

6）字段映射-来源表字段：支持带有逗号的自定义表达式

7）增加源端选择多表时的提示文案

当源端为MySQL、Oracle、SQLserver时，增加提示文案：选择多表时，请保证表结构一致

8）Hive、Clickhouse、Greenplum快速创建表增加表名重复性校验

9）FTP数据目录支持解析参数，源端文件筛选的表达式条件增加：文件名称-正则匹配

10）复制任务增加任务名称是否符合要求的校验

3.3 BUG修复

1）修复修改任务时，数据过滤无法生效问题

2）修复数据传输编辑任务，自定义条件不显示，但是实际执行任务时，条件有效的问题

3）读取ftp文件非string的空值写入vertica报错

4）修复“数据来源端-数据过滤”栏仅存在单项条件时无法删除条件的问题

5）修复“任务列表-数据去向类型-确定”按钮展示不全的问题

6）修复“FTP-生成校验文件”按钮失效的问题

7）修复“创建离线开发任务-保存位置”不支持搜索的问题

8）修复“FTP文件过滤-修改时间”小于等于时的效果其实是大于等于的问题

4 数据测试中心

4.1 功能新增

1）支持添加形态探查任务时配置Spark参数功能

2）支持添加数据比对任务时配置Spark参数功能

4.2 功能完善

1）修改azkaban参数，增加了选择范围

2）优化实例详情任务参数展示，默认收起

4.3 BUG修复

无

5 模型设计中心

5.1 功能新增

1）支持无度量模式

2）表设计工单管理，新建表或修改表，支持对表字段设置“字段附加列”

该功能支持在新建表或修改表工单中，对不同分层的表设置不同的字段附加列，比如字段的“加工来源表”、“加工来源字段”等。

下图为设置字段附加列“来源表”：

3）表设计工单管理，新增加“批量上传建表”方式创建表

4） 表设计工单管理，支持对ods层表创建建表工单

支持选择ods层表进行设计，但是ods层的表的字段不支持设置标准化标签（维度、度量、指标）

5) 表设计工单管理，新建表或修改表的工单内字段支持设置枚举值

6) 表设计工单管理，新建表或修改表，选择字段的标准化标签为指标和维度时，支持自动填充“描述列”

7) 表设计工单管理，新建表的工单中支持设置“是否推荐表”

5.2 功能完善

1) 增加未提交工单的直接提交功能

2）在涉及到“主次维表”的地方增加了文案说明

5.3 BUG修复

1）修复主题域或子主题的介绍不可换行问题

2）修复SQL模式新建表时decimal类型解析异常问题

3）修复SQL模式新建表是char和varchar类型解析异常问题

4）修复主题域的表执行“取消当前域关联”后，表未进入未分组主题域的问题

6 自助分析

6.1 功能新增

1）在自助分析中支持操作GreenPlum、Vertica数据源

6.2 功能完善

无

6.3 BUG修复

无

7 离线开发

7.1 功能新增

1）增加选择节点用法说明

2）公共资源功能支持资源组下载和查看

3）公共资源功能支持“操作锁定”功能

4）支持节点配置隐藏

5）AI文件夹下的任务支持配置报警

6）离线开发，支持设置调度日历

7）离线开发，嵌套流和AI 2.0节点支持将参数组的参数传递给被引用的任务

7.2 功能完善

1）上传任务包卡顿问题优化

7.3 BUG修复

无

8 数据标准

8.1 功能新增

1）支持数据元管理，包含数据元的查看、新增、编辑、删除、废止、提交状态变更审核以及查看版本记录；支持普通用户视角以及标准制定和标准审核人员视角

普通用户：支持查看已发布的数据元列表

标准制定及审核人员：支持查看所有数据元列表，支持对数据元进行操作

2）支持数据字典管理，包含数据字典的查看、新增、编辑、删除、废止、提交状态变更审核以及查看版本记录；支持数据字典目录的管理；支持普通用户视角以及标准制定和标准审核人员视角

普通用户：支持查看已发布的数据字典列表

标准制定及审核人员：支持查看所有数据字典列表，支持对数据字典进行操作

3）支持审核管理，包含标准的状态变更审核以及标准的发布审核

4）支持标准发布，包含标准发布提交及发布历史查看

5）支持我的申请，查看“我”提交的标准状态变更申请以及标准发布申请

8.2 功能完善

无

8.3 BUG修复

无

9 任务运维中心

9.1 功能新增

1）支持单个/批量任务补数据功能

2）基线增加通知方式的设置，之前版本通知方式在值班组中进行设置

3）基线支持自定义免打扰时间

4）新增报警规则列表，规则类型包括：任务失败/超时，节点失败/超时，数据质量异常/检测失败，基线报警。项目负责人、管理员、创建人可对规则进行编辑或删除

5）报警历史增加不同规则类型的报警，基线报警状态细分

6）支持调度日历功能

9.2 功能完善

1）周期实例运维列表页，增加“延迟时长”字段，表示任务从“计划执行时间”到“开始执行时间”的时长，方便用户了解任务晚多久才开始执行，以便调整优化任务执行时间

2）实例的智能诊断页面，增加所属基线、实例状态等信息

3）实例的重跑记录列表页，对最近一次执行的实例增加“最近执行”的标识，方便用户辨别最近的实例及状态

4）值班组可设置主备分级通知策略

5）补数据暂停粒度优化。之前在项目配置中若设置了暂停补数据时间窗口后，如果补数据任务实例在窗口期前启动，进入窗口期仍未运行完成，则会继续运行，故实例中部分运行的节点没有受到窗口期的控制。而在实际业务场景中，当达到暂停补数据窗口期时，希望是已运行的节点继续运行，未运行的节点能够暂停，等到窗口期结束，未运行的节点则可以自动恢复开始运行。

6）任务的节点中，增加嵌套流节点、AI2.0节点参数透传信息，在离线开发任务中，引用的嵌套流节点和AI2.0节点可以将当前任务的参数组参数传递给被引用的任务。

9.3 BUG修复

1）修复"基线已经删了，再删值班组删不掉了"问题

2）修复“调度任务最新执行时间为空”问题

3）修复“报警历史提示服务器异常”问题

4）修复“计划时间计算导致CPU 100%”问题

5）修复“分布式锁占用内存过大导致FGC”问题

6）修复“访问没有权限的项目集群会一直跳转刷新”问题

7）修复周期实例运维以及任务列表，二次展开下拉滚动无法触发分页查询问题

8）重跑图表控件：下面截图两个红框功能有问题修复

9）基线运维列表页超时问题

10）基线报警历史时间显示问题（时区）

11）任务列表中新建任务的任务类型更新延迟问题

12）周期实例详情页job无法按运行时长排序问题

13）重跑、补数据通知中时间格式为12小时制问题

14）值班人近7天有配置值班人，不应该接收值班人近7天未配置的告警

15）任务运行未超时，但是仍发送超时告警了

16）音乐反馈基线实例失败未报警

17）补数据延迟执行，点暂停后一直在暂停中

18）新版任务运维中心基线展示条数

19）实例列表中节点列表下拉滚动，显示重复且有空白

20）任务延迟报警最大会有1分钟误差

21）log2j包冲突

22）任务超时规则在任务失败后也应当做超时

23）音乐反馈job上游状态不一致

24）周期实例大盘计划执行实例数比实际少

10 数据质量中心

10.1 功能新增

1）支持对MySQL数据源进行数据质量监控配置

2）支持数据源类型在监控任务列表及详情的展示

监控列表中支持展示监控对象的数据源类型

监控任务详情支持展示监控对象的数据源类型，编辑时不可修改数据源类型。对于MySQL展示数据源信息

3）支持适用MySQL数据表的规则模板

规则模板管理列表中支持展示规则模板的适用数据表类型，并在编辑时支持修改

新建规则模板支持新建适用MySQL数据表的规则模板

4）支持展示监控对象为MySQL数据源的相关质量结果

质量大屏：表质量平均分、监控配置情况、调度监控执行情况，支持显示监控下MySQL数据表的统计数据和历史趋势

质量评估：质量排行榜支持显示MySQL数据表的今日表质量排行，表质量评分支持显示MySQL数据表的各表质量平均分趋势

监控执行历史：执行实例列表支持数据源类型筛选条件，执行趋势支持展示显示MySQL数据表的监控执行概况

5）MySQL质量监控任务执行时进行权限校验

1. 如果数据源“源系统账号鉴权”开关关闭，使用项目账号身份执行
2. 如果数据源“源系统账号鉴权”开关开启，则当前项目账号身份映射了账号才能正确执行

6) 质量中心支持vertica数据源

7) 监控列表支持监控任务复制

10.2 功能完善

1）监控列表-详情-编辑中编辑监控对象时，顶部增加提示文案：修改监控对象可能会导致规则执行失败，请及时修改相应规则

2）“新建监控”选择监控对象时，支持vertica、MySQL数据源权限过滤，只能对有读权限的数据源配置监控任务

3）“监控列表”页面，支持vertica、MySQL数据源的监控对象点击表名跳转至数据地图

10.3 BUG修复

1）修复从元数据中心同步表信息时的异常

2）修复创建执行实例过程中异常导致执行实例创建失败的问题

3）修复已禁用的规则，执行时仍解析的问题

4）修复 REPLACE INTO 更新情况下性能问题

5）修复执行实例列表接口缓慢问题

6）修复表级别唯一性校验生成异常问题

7）修复福建电力升级问题（Mysql数据源DQC试跑失败、质量排行榜显示不出来）

8）修复新建监控时vertica选表列表加载过慢问题

9）修复监控执行保存后，继续编辑规则导致规则不断复制的问题

10）修复新建监控时，按钮连续点击导致翻页异常的问题

11）修复新建监控时，vertica数据源切换数据表时，偶现提示表已被删除问题

12）修复试跑时修改分区值影响列表里原始分区值的展示问题

11 数据服务

11.1 功能新增

1）服务概览页面，细粒度监控下，页面展示内容更丰富，增加如下内容：

支持更加细粒度的时间筛选，可筛选过去90天内的数据，时间跨度支持30天；支持秒级筛选，小于1min，以10s为一个点，大于1min小于1h，以10min为一个点，大于1h小于1天，以2h为一个点，大于1天，按照天绘制；增加累计请求返回量数值指标；增加应用调用Top10

增加API调用次数趋势图，支持根据应用筛选，默认全部；增加API返回量趋势图；增加资源组请求趋势图，支持根据资源组筛选

增加数据服务错误类型分布，支持查看错误状态码

2）API监控详情页面，细粒度监控下，页面展示内容更丰富，增加如下内容：

支持更加细粒度的时间筛选，可筛选过去90天内的数据，时间跨度支持30天；支持秒级筛选，小于1min，以10s为一个点，大于1min小于1h，以10min为一个点，大于1h小于1天，以2h为一个点，大于1天，按照天绘制；支持根据当前API绑定的应用筛选查看趋势图；平均响应时间增加数据源响应时间；最长响应时间增加数据源响应时间

增加QPS趋势图；增加数据服务错误码数量趋势图，支持查看错误状态码；增加返回量趋势图；增加响应时间在0~10(ms)内趋势图

增加响应时间在10~100(ms)内、100~1000(ms)、1000~n(ms)内趋势图

3）报警策略的详情页面，增加报警历史记录，展示报警时间、触发报警的API以及报警的详情，保留历史所有报警信息

4）系统预置错误率的报警策略，在线上环境发布API时，弹窗支持选择报警策略、流控策略和访问策略，默认绑定系统预置的报警策略，当错误率>=5%时触发报警

5）支持HTTPS协议增加准备说明

6）在应用详情页面，支持选择已发布状态的多个API进行绑定；支持根据API名称进行搜索定位

7）入参定义中，暴露page_size和page_num的系统参数

8）新建API时，入参列表和返回参数列表的操作列，增加上移、下移操作

9）SQL和向导模式下，创建API支持TiDB和Doris数据源类型，支持筛选查看等功能

10）API集市，申请API时，支持行级和列级权限选择，均默认关闭

11）API列表，API详情页面，绑定应用中增加列级权限功能的配置，支持查看行列级权限方案

12）注册API支持保留原返回结构的功能

13）监控页面趋势图支持全屏查看以及缩小范围放大查看功能

11.2 功能完善

1）支持Kerberos认证的HBase集群的API

2）API列表的筛选项优化，API集合暴露出来

3）SQL模式下，代码书写框优化，支持放大和缩小功能

4）API详情页面，增加绑定的资源组信息

5）SQL模式下，支持传入use_total_num=1获取满足查询条件的总条数，且sql脚本中需不包含limit语句方可正确返回总数，更新提示内容

6）细粒度监控下，API详情页面，增加基础趋势图展示，包括调用总次数、错误次数、平均响应时间和最长响应时间，支持跳转详情页查看更多监控指标

7）细粒度监控下，服务概览页面优化，若某API调用量远远大于其他API，Top排行榜显示优化

8）线上API发布时，由原本弹窗自主选择绑定策略，变为自动绑定报警策略，增加悬浮提醒，且系统默认报警策略增加描述

9）细粒度监控下，服务概览和API详情页面，监控粒度调整

1. 小于等于1min：以10秒为一个单位，最多6个点
2. 大于1min小于等于1小时：以1分钟为一个单位，最多60个点
3. 大于1小时小于等于1天：以1分钟为一个单位，最多24*60=1440个点
4. 大于1天的，按照1小时为单位绘制

10）细粒度监控下，API监控详情页面，响应时间在xx~yy(ms)的趋势图进行合并处理

11）多环境模式下，同步配置时，支持将源API取数逻辑覆盖现有API逻辑，且切换数据源类型时，保持取数逻辑不清空

12）测试页面支持保留填写的入参，若返回前一步修改取数逻辑，再次进入测试页面，会保留之前填写的测试值，提高测试效率

11.3 BUG修复

无

12 数据地图

12.1 功能新增

1）MySQL支持表级血缘

2）个人表权限展示及申请。用户进入Hive表详情后，可查看当前用户是否拥有该表的数据权限，以及具体哪些数据权限，若无权限可点击“去申请”，进入安全中心创建表权限申请工单

3）产品界面水印

4）支持Oracle搜索和血缘展示

在数据源管理中登记了Oracle数据源后，在数据地图的数据查询页支持搜索Oracle表

Oracle表详情页展示内容包括基础信息、字段信息、数据血缘、产出信息、使用说明等

增加Oracle表级别的数据血缘，血缘来源包括离线开发的开发模式、线上模式运行的SQL任务，数据传输读写Oracle表

5）支持GreenPlum搜索和详情展示

在数据源管理中登记了GreenPlum数据源后，在数据地图的数据查询页支持搜索GreenPlum表

GreenPlum表详情页展示内容包括基础信息、字段信息、使用说明等，暂不支持数据血缘

6）支持Vertica表级血缘。

在支持Vertica搜索基础上，本版本新增Vertica表级血缘功能，血缘来源包括离线开发的开发模式、线上模式运行的SQL任务，数据传输读写Oracle表

7）增加指标英文标识搜索，并展示指标的可分析维度

支持指标的中英文搜索，且可统计并展示指标对应的表所支持的维度字段，方便用户知晓该指标可按哪些维度进行分析

8）支持查看当前用户对Oracle/Vertica/MySQL/GP数据源的使用权限

在平台登记的Oracle/Vertica/MySQL/GP数据源，经过数据源读写授权和源系统账号映射后，用户即拥有使用该数据源的权限，在数据地图表详情页可查看是否具有该数据源的使用权限信息

9）支持展示Hive字段的附加列属性

模型设计中心支持自定义Hive字段的附加列，例如字段的安全等级、来源表、业务含义等，建表完成后在数据地图Hive表详情页的字段明细列表中，可查看字段的附加列信息

12.2 功能完善

1）数据血缘任务信息优化

在数据血缘图中，点击血缘节点之间的连线，可右侧弹框展示任务信息，包含任务名称、负责人、所属项目、调度状态、调度周期等，点击任务可跳转查看任务详情，注意查看任务详情需要有对应的功能权限

2）Hive表生命周期优化

对于Hive外表，表负责人可设置表/分区的生命周期，以及数据处理策略。外部表的数据处理策略包含2种方式，一种是生命周期到期后仅删除元数据不删除目录文件，另一种是同时删除元数据和目录文件

3）标准化标签支持无度量模式

4）Pandora邮件任务可在地图下游任务中展示

5）支持按“库名.表名”搜索Hive表

数据查询页增加库表名关键字来搜索表，提升搜索效率，且可排除不同库名同名表的情况

6）主题域、表分层筛选项增加“未分组”一项并统计表个数

增加了未分组的主题域和分层，解决表个数统计不一致的情况

7）Hive字段的标准化标签设置中，支持指标英文搜索、维度英文搜索

8）Kudu/HBase表检测到外部Hive后，增加Hive表名跳转链接

9）增加DDL变更自动通知的规则说明文案，方便用户了解DDL变更通知的约束规则

12.3 BUG修复

1）修复impala展示区分大小写

2）修复用户重新登陆后跳到数仓引导，未记录之前页面

13 数据资产中心

13.1 功能新增

1）资产大盘增加费用、下线、费用和负责人排行等内容

资产大盘分为三种视角：项目组总览、项目总览和我的总览

项目组总览，可查看费用指标、下线指标、计算费用Top5的项目、存储费用Top5的项目

项目总览，可查看费用指标、下线指标、计算费用Top5的任务(含Query)、存储费用Top5的表、负责人排行榜(包括待治理和已治理，涉及未确认/确认 下线表所属负责人Top5、未设置/设置 生命周期的表所属负责人Top5)

我的总览，可查看费用指标、下线指标、待治理项指标、计算费用Top5的任务(含Query)、存储费用Top5的表

费用指标中包含计算费用和存储费用，支持日环比，也可查看消耗的CU和存储量

下线指标呈现预估节省的年费用、累计下线的逻辑/物理存储、累计确认下线的表数量/存储、累计因生命周期到期而下线的表数量/存储

负责人排行榜中，确认下线支持查看下线的明细，呈现何时何人下线了哪个库表数据

在待治理项指标中，呈现当前用户未确认下线表数量、未设置生命周期的表数量，以及如果进行治理，可节省的年费用

2）任务流下支持任务粒度级别的成本分析

在计算分析-调度任务中，若任务流下有多个节点任务，支持展开查看，针对节点可查询节点名称、执行耗时、预估费用等信息

3）资产大盘-项目总览中，负责人排行榜支持查看调度任务和自助分析

展示当前项目下，调度任务/Query查询消耗费用所属负责人Top5

4）负责人排行榜中，调度任务、自助分析和待治理表均保留近一周的历史排行，支持查看历史排行明细信息

5）费用排行榜中，任务排行拆分为调度任务和自助分析的Top5

6）我的总览中，任务费用拆分为调度任务费用和自助分析费用

7）对于外部表的目录文件，需满足分区路径处于表路径下且表路径未被其他表引用，才支持同时删除表元数据和目录文件，若不满足规范，在点击"确定"后，会提示不满足规范，需重新调整数据处理策略

8）资产大盘增加健康分相关内容，涵盖计算和存储，分为项目组、项目和个人视角

项目组总览下(仅项目组管理员可见该Tab)，展现项目组健康分，同时展现项目组下低健康分Top5的项目以及各个项目健康分占比；资产概况中增加资产健康分近30天趋势图

项目总览下，展现当前项目健康分，针对计算和存储的扣分项，以列表形式呈现待治理的任务和表

我的总览下，展现当前用户的资产健康分，针对计算和存储的扣分项，列表呈现以当前用户为负责人的表和任务

在项目总览和我的总览下，对于计算和存储，待治理项均可查看详情，支持下载

在项目总览和我的总览下，支持查看计算和存储的健康分规则说明，了解扣分项和扣分原则

项目总览和我的总览，资产概况优化，简化折线图呈现方式，同样均含有近30天的资产健康分趋势

9）【只在音乐项目下生效】完善温热功能，支持界面化设置温表，查看温集群存储以及温数据表占比

10）确认下线表增加对于外部表的限制

11）对于推荐下线表，若表不需要进行下线，支持添加到白名单，也支持从白名单中移出，不管是加入还是移出，需要操作者的上级领导进行审批

13.2 功能完善

1）有数报表分析功能优化。支持费用、访问次数等数值型排序；支持报告最近一次修改人和最近一次修改时间字段

2）计算任务中，增加任务创建时间字段

3）下线失败表的邮件通知，支持点击跳转至下线失败表清单中

4）任务名称宽度调整，展示尽可能全的任务名称

5）鼠标停留悬浮优化，展示全部信息

6）数据显示增加千分位，便于读取

7）明确费用指标范围

8）若无模型设计中心产品，Hive表详情中主题域、表分层想等相关内容不再展示

9）生命周期管理优化，针对外部表，分区路径不在表路径下或表路径被其他表所引用导致生命周期到期后不能同步删除目录文件的表，增加icon标识

10）交互优化，资产大盘负责人排行榜增加Loading缓冲

13.3 BUG修复

无

14 数据安全中心

14.1 功能新增

1）【权限申请】安全中心支持个人、项目账号对公开库、表的权限申请

2）【我的权限】安全中心支持展示当前登录账号的权限列表

3）【权限配置】通过定义资源安全接口人和审批环节配置，可以实现各种资源的自定义审批

安全中心预置了库、表的安全接口人：库-项目负责人，表-表负责人，同时支持自定义库的安全接口人

安全中心预置了默认审批链路：直接主管+资源安全接口人，同时支持自定义审批的中间环节

4）【目录授权】安全中心支持操作目录对个人、角色、项目账号的授权

5）【权限申请-申请表/申请库】权限申请申请表和申请库时支持选择“权限到期日期”

6）【权限申请-我的申请】“我的申请”支持查看申请工单内的“权限到期日期”

7）【我的权限】开放“我的权限”页面，展示当前登录账号的库/表权限列表

支持展示权限到期日期，十天内到期的权限视为即将到期，支持查看和筛选即将到期的权限

支持释放权限

8）【我的权限-有权限的库/有权限的表】支持“申请续权”操作

9）【到期前通知-邮件/泡泡】如有十天内到期的权限，将在早上8：00给用户自动发送邮件和泡泡通知，点击链接可跳转至安全中心-我的权限页面

14.2 功能完善

1）数据安全：取消项目内外和申请权限入口

2）权限申请：权限申请接入数据地图

数据地图会展示当前登录用户的权限明细，针对没有权限的，点击申请权限跳转安全中心权限申请页面

3）【我的权限】权限来源为角色的，鼠标停留时展示中文角色名

4）安全中心增加权限模型，从ranger同步权限模型

5）角色权限变更备份

6）gmr驱动替换mysql驱动

7）easyaccess角色信息同步到ranger，同步转异步

14.3 BUG修复

1）数据授权-前端文案修改。解决之前数据授权管控粒度、授权对象属性不清晰的问题

2）数据安全：增加项目账号授权

15 控制台

15.1 功能新增

1）新增“调度日历配置”模块

对于具体的日历，可以通过下载模板和上传方式，完成调度日历的配置

15.2 功能完善

1）平台管理员迁移到控制台，同时增加权限校验模块，增加平台管理员迁移接口

2）导航栏迁移到控制台

3）控制台中新增基础配置，支持调度日历配置

15.3 BUG修复

无

16 元数据中心

16.1 功能新增

1）支持postgresql数据源返回numeric数据精度

2）兼容多版本openssl sftp服务端

3）增加Mysql静态表血缘的支持，提供平台内部产生的MySQL表血缘给数据地图展示

4）增加Mysql外部表血缘导入，并在数据地图展示

5）增加ORACLE同义词功能，在配置数据传输任务来源为Oracle时，可配置同义词

6）支持跨集群Hive数据源登记，用于数据传输模块不同集群间的Hive数据传输（仅支持星环TDH5.2.2、神策Hadoop2.6.0-CDH5.12.1特定的Hive版本）

7）支持同项目组下不同项目数据源的列表查看，主要涉及：/metahub/api/v3/datasource/iam/account/list、/metahub/api/v2/datasource/account/list、 /metahub/api/v3/datasource/account/list三个接口，使其查询数据源时，根据所在项目组而不是项目维度来返回数据源

8）oracle支持gpk编码

9）/metahub/api/v2/datasource/get /metahub/api/v3/datasource/get两个接口去除项目判断

10）血缘写入HBase增加日志信息

11）优化/metahub/api/v2/table/get与/metahub/api/v2/db/tags/search接口的性能

12）增加DMstar数据源类型，支持电信金库脱敏平台

13）支持vertica/oracle/流表/Topic 血缘接口，提供给数据地图展示

14）vertica支持byte数组类型和raw类型

15）支持离线开发MySQL、Oracle、Vertica新建表DDL实时推送，提供地图实时检索出新建的表

16）支持MySQL、Oracle、SQLServer查询表详情接口，增加主键字段信息

17）支持获取Vertica表的分区字段

18）支持模型设计中心Hive建表时，字段附加列信息存储、查询、更新

19）mysq列信息查询优化，优先使用API方式，若失败再改用sql执行

20）数据源get方法与list方法保持相同的项目组粒度。/metahub/api/v2/datasource/get与/metahub/api/v3/datasource/get这两个接口修改

21）音乐pandora任务可在表的下游任务血缘中展示

16.2 功能完善

1）支持sftp 4.1.2.2版本连接

2）有数推送的报表与图表标签在元数据中心血缘全链路打标签导致的table get性能极差问题修复

3）数据地图搜索对长度进行限制（默认限制长度50，可配置）

16.3 BUG修复

1）oracle2hive自动建表无法获取oracle字段注释问题修复

2）ftp数据源登记不同ip无法登记问题修复

3）数据源登记PostgreSQL时支持不限定schema问题修复

4）修复v2接口的batch get没有正确排除已删除数据源的问题

5）配置文件中j2中metahub.plugin.preloadCatalog错误的修复

6）解决DB2在获取表详情时精度丢失的问题

7）修改j2文件中一个配置的“=”为“：”的问题

8）修复血缘的预测对当天未产出表的接口数据的误差

9）vertica支持byte数组类型与raw类型

10）修复HBase创建数据源带kerbos认证时，如果/tmp/metahub目录不存在会报错的问题

11）修复非Hive数据源的数据库增量变化无法同步给metadata表与ES中的问题