更新时间：2021-06

本文为您介绍大数据开发平台最新的更新动态，基于此您可以了解大数据开发平台增加了哪些新功能、更新了哪些新特性等，进一步提高您的开发效率。

1 平台整体

1.1 功能新增

1）支持对接CDH集群；

2）平台管理的项目工单，迁移至“流程协作与通知中心”，仅保留“申请Hive表读权限”，“申请Hive库读权限”。

2 指标系统

2.1 功能新增

1)复合指标公式化，在新建复合指标时，可以根据依赖的指标(原子或派生指标)以及修饰词、操作符构建公式化的复合指标；

2)支持自定义指标模板，支持添加指标定义时的自定义字段(文本类)，可指定是否必填，在新建以及批量上传模板中将包含该字段，且进行是否必填验证；

3)新建指标时，支持添加指标标签，将业务含义与指标关联，支持标签搜索和展示；

4)提供指标关系间血缘图，支持查看血缘图中的任何指标。

2.2 功能完善

1)指标业务口径填充优化；

2)批量下载指标优化，支持选择性下载，同时支持全量下载；

3)交互优化，统一筛选、icon等内容。

3 数据传输

3.1 功能新增

1）新增FTP数据源；

2）支持kerberos认证的hbase；

3）流水型任务增加timestamp类型支持。

4 模型设计中心

4.1 功能新增

1）支持用项目权限执行建表；

2）主题域审批权限细化，支持主题单独指定审批人；

3）主题选择范围设置功能，支持某些主题仅能被某些角色选择；

4）表分层权限控制细化，支持分层按角色分配；

5）表字段主动填充，支持将指标和维度标识设置为字段名称；

6）支持非主题域表的表创建修改表工单；

7）支持表分层变更；

8）基础字典导出功能；

9）维度支持选择到二级主题；

10）未分组增加治理辅助数据；

11）跨ods层依赖治理，支持明细数据导出；

12）元数据中心修复表和字段重命名时标签丢失问题。

5 自助分析

5.1 功能新增

1）支持高级运行，可填写参数运行；

2）支持运行结果的快捷展开和收起运行。

6 离线开发

6.1 功能新增

1）顶部导航栏，实现所有子产品统一，并支持自定义设置显示的子产品；

2）增加“公共资源”页面，供任务引用；

3）测试功能，增加支持使用特殊的参数来实现SQL语句中数据库的替换；

4）测试功能，支持在开发模式运行时，关闭“测试模式”；

5）提交上线时，支持影响提醒，支持影响链路展示；

6）提交上线时，支持通过文件夹圈定任务或者基于任务产出影响，实现工单审批上线；

7）开发模式下，支持开启强制开发模式测试功能；

8）依赖设置方面，支持sql节点的“智能推荐”依赖；

9）调度方面，支持crontab调度设置；

10）数据产出订阅功能，支持订阅hive表或cube的产出，并回调注册的接口；

11）相关通知方式，新增企业微信、钉钉。

6.2 功能增强

1）开发模式下的节点，打开时crtl+s支持节点保存。

7 任务运维中心（新）

7.1 功能新增

1）周期实例大盘；

2）实例详情；

3）支持实例的智能诊断；

4）支持冻结池功能。

8 数据服务

8.1 功能新增

1）权限对接IAM中心，由IAM中的权限方案控制用户对于数据服务产品的访问权限，能够更加细粒度的展现对数据服务的操作权限；

2）支持SQLServer、Kylin、ES、clickhouse、Druid、PostgreSQL数据源类型；

3）SQL模式下支持分页设置，若启用了分页参数，则可使用page_size和page_num指定分页；

4）增加API集市页面，其他页面统一成”服务开发”；

5）工单对接流程协作与通知中心，待审核和审核通过均会发送邮件通知；

6）新建API时支持打业务标签，支持搜索当前项目下已经创建的标签，单个API最多可打5个标签；

7）单个API增加锁定/解锁功能，锁定后，只有创建人可对API进行编辑等操作；

8）新增”配置管理”页面，对资源组进行增删改查，支持查看资源组的引用详情；

9）SQL模式下动态传参，支持MyBatis动态语法；

10）支持对请求参数进行二次处理，支持函数入参和参数校验；

11）可以上传Jar包对返回参数二次处理；

12）支持开启API缓存；

13）HBase功能扩展，支持gets模式，支持返回参数自定义；

14）Redis功能扩展，支持hgetall、exits调用模式，支持自定义返回参数；

15）支持创建多种报警策略；

16）可以将已有的API注册进平台进行统一管理；

17）支持APIToken鉴权，可以集成至BI报表中调用API；

18）发布后的API可修改描述、标签等。

8.2 功能完善

1）API调用次数和应用调用频次对于大小进行限制；

2）对于在SQL模式下数据表生成API的功能，添加血缘相关信息，完善数据地图”下游影响”的分析；

3）向导模式下，增加use_total_num=1返回总条数的提示；

4）已经发布的API，在测试页面，不可更改绑定的资源组；

5）API集市增加API调用的说明文档下载，支持项目组内成员下载；

6）修复Hive API SQL模式下开启Mybatis动态查询后SQL解析异常的bug。

9 数据地图

9.1 功能新增

1）基于数据血缘的通知、DDL自动通知，增加企业微信、钉钉；

2）增加Kafka流表、RocketMQ流表、KafkaTopic、RocketMQ的搜索，支持实时计算平台推送的血缘展示，在血缘图中还支持Hbase、kudu等。

10 数据资产中心

10.1 功能新增

1）推荐下线表增加表类型、表存储、文件open次数、访问次数等内容；

2）推荐下线表支持csv和txt格式下载当前列表内容，且可灵活设置列表展示字段内容；

3）推荐下线、加入白名单和设置生命周期，均进行权限控制，只有当前项目管理员、负责人和表负责人有操作权限；

4）设置生命周期，增加表类型，分区表可设置表和分区生命周期，非分区表只能设置表生命周期，增加生命周期到期后的处理策略；

5）表分析和目录分析均增加日环比数据；

6）配置管理，控制显示权限，仅当前项目管理员、负责人可编辑配置管理内容；

7）扫描周期联动，对当前项目下所有集群生效；

8）表分析中，新增表数量以及存储优化为净新增表数量以及存储；

9）数据备份功能重构，新增备份时，支持全量或者增量备份；

10）表分析中新增表所属主题域Top排行榜，和新增表存储Top排行榜。

10.2 功能增强

1）确认下线时展示数据处理策略；

2）推荐下线表加入白名单增加原因说明；

3）资产大盘去掉不同项目和项目组的切换功能，对于项目组管理员和平台管理员，支持查看大盘，其他角色仅可查看当前项目下资源信息；

4）表分析和目录分析去掉时间切换，趋势图默认展示最近30天的数据；

5）目录分析增加最新统计时间，优化目录净增存储量top排行；

6）表分析和生命周期诊断列表中的表存储量支持TB、GB等单位切换；

7）表分析中的推荐下线表和生命周期诊断列表中，对于文件数、open次数、表访问次数、日均job引用数、时间等支持排序；

8）资产详情页整改，优化搜索项，完善搜索功能正确性，针对主题域和表分层展示优化，表头展示优化，分层节点设置不允许重复。