更新时间:2021-06

本文为您介绍大数据开发平台最新的更新动态,基于此您可以了解大数据开发平台增加了哪些新功能、更新了哪些新特性等,进一步提高您的开发效率。

1 平台整体


1.1 功能新增

1)支持对接CDH集群;

2)平台管理的项目工单,迁移至“流程协作与通知中心”,仅保留“申请Hive表读权限”,“申请Hive库读权限”。

2 指标系统


2.1 功能新增

1)复合指标公式化,在新建复合指标时,可以根据依赖的指标(原子或派生指标)以及修饰词、操作符构建公式化的复合指标;

2)支持自定义指标模板,支持添加指标定义时的自定义字段(文本类),可指定是否必填,在新建以及批量上传模板中将包含该字段,且进行是否必填验证;

3)新建指标时,支持添加指标标签,将业务含义与指标关联,支持标签搜索和展示;

4)提供指标关系间血缘图,支持查看血缘图中的任何指标。

2.2 功能完善

1)指标业务口径填充优化;

2)批量下载指标优化,支持选择性下载,同时支持全量下载;

3)交互优化,统一筛选、icon等内容。

3 数据传输


3.1 功能新增

1)新增FTP数据源;

2)支持kerberos认证的hbase;

3)流水型任务增加timestamp类型支持。

4 模型设计中心


4.1 功能新增

1)支持用项目权限执行建表;

2)主题域审批权限细化,支持主题单独指定审批人;

3)主题选择范围设置功能,支持某些主题仅能被某些角色选择;

4)表分层权限控制细化,支持分层按角色分配;

5)表字段主动填充,支持将指标和维度标识设置为字段名称;

6)支持非主题域表的表创建修改表工单;

7)支持表分层变更;

8)基础字典导出功能;

9)维度支持选择到二级主题;

10)未分组增加治理辅助数据;

11)跨ods层依赖治理,支持明细数据导出;

12)元数据中心修复表和字段重命名时标签丢失问题。

5 自助分析


5.1 功能新增

1)支持高级运行,可填写参数运行;

2)支持运行结果的快捷展开和收起运行。

6 离线开发


6.1 功能新增

1)顶部导航栏,实现所有子产品统一,并支持自定义设置显示的子产品;

2)增加“公共资源”页面,供任务引用;

3)测试功能,增加支持使用特殊的参数来实现SQL语句中数据库的替换;

4)测试功能,支持在开发模式运行时,关闭“测试模式”;

5)提交上线时,支持影响提醒,支持影响链路展示;

6)提交上线时,支持通过文件夹圈定任务或者基于任务产出影响,实现工单审批上线;

7)开发模式下,支持开启强制开发模式测试功能;

8)依赖设置方面,支持sql节点的“智能推荐”依赖;

9)调度方面,支持crontab调度设置;

10)数据产出订阅功能,支持订阅hive表或cube的产出,并回调注册的接口;

11)相关通知方式,新增企业微信、钉钉。

6.2 功能增强

1)开发模式下的节点,打开时crtl+s支持节点保存。

7 任务运维中心(新)


7.1 功能新增

1)周期实例大盘;

2)实例详情;

3)支持实例的智能诊断;

4)支持冻结池功能。

8 数据服务


8.1 功能新增

1)权限对接IAM中心,由IAM中的权限方案控制用户对于数据服务产品的访问权限,能够更加细粒度的展现对数据服务的操作权限;

2)支持SQLServer、Kylin、ES、clickhouse、Druid、PostgreSQL数据源类型;

3)SQL模式下支持分页设置,若启用了分页参数,则可使用page_size和page_num指定分页;

4)增加API集市页面,其他页面统一成”服务开发”;

5)工单对接流程协作与通知中心,待审核和审核通过均会发送邮件通知;

6)新建API时支持打业务标签,支持搜索当前项目下已经创建的标签,单个API最多可打5个标签;

7)单个API增加锁定/解锁功能,锁定后,只有创建人可对API进行编辑等操作;

8)新增”配置管理”页面,对资源组进行增删改查,支持查看资源组的引用详情;

9)SQL模式下动态传参,支持MyBatis动态语法;

10)支持对请求参数进行二次处理,支持函数入参和参数校验;

11)可以上传Jar包对返回参数二次处理;

12)支持开启API缓存;

13)HBase功能扩展,支持gets模式,支持返回参数自定义;

14)Redis功能扩展,支持hgetall、exits调用模式,支持自定义返回参数;

15)支持创建多种报警策略;

16)可以将已有的API注册进平台进行统一管理;

17)支持APIToken鉴权,可以集成至BI报表中调用API;

18)发布后的API可修改描述、标签等。

8.2 功能完善

1)API调用次数和应用调用频次对于大小进行限制;

2)对于在SQL模式下数据表生成API的功能,添加血缘相关信息,完善数据地图”下游影响”的分析;

3)向导模式下,增加use_total_num=1返回总条数的提示;

4)已经发布的API,在测试页面,不可更改绑定的资源组;

5)API集市增加API调用的说明文档下载,支持项目组内成员下载;

6)修复Hive API SQL模式下开启Mybatis动态查询后SQL解析异常的bug。

9 数据地图


9.1 功能新增

1)基于数据血缘的通知、DDL自动通知,增加企业微信、钉钉;

2)增加Kafka流表、RocketMQ流表、KafkaTopic、RocketMQ的搜索,支持实时计算平台推送的血缘展示,在血缘图中还支持Hbase、kudu等。

10 数据资产中心


10.1 功能新增

1)推荐下线表增加表类型、表存储、文件open次数、访问次数等内容;

2)推荐下线表支持csv和txt格式下载当前列表内容,且可灵活设置列表展示字段内容;

3)推荐下线、加入白名单和设置生命周期,均进行权限控制,只有当前项目管理员、负责人和表负责人有操作权限;

4)设置生命周期,增加表类型,分区表可设置表和分区生命周期,非分区表只能设置表生命周期,增加生命周期到期后的处理策略;

5)表分析和目录分析均增加日环比数据;

6)配置管理,控制显示权限,仅当前项目管理员、负责人可编辑配置管理内容;

7)扫描周期联动,对当前项目下所有集群生效;

8)表分析中,新增表数量以及存储优化为净新增表数量以及存储;

9)数据备份功能重构,新增备份时,支持全量或者增量备份;

10)表分析中新增表所属主题域Top排行榜,和新增表存储Top排行榜。

10.2 功能增强

1)确认下线时展示数据处理策略;

2)推荐下线表加入白名单增加原因说明;

3)资产大盘去掉不同项目和项目组的切换功能,对于项目组管理员和平台管理员,支持查看大盘,其他角色仅可查看当前项目下资源信息;

4)表分析和目录分析去掉时间切换,趋势图默认展示最近30天的数据;

5)目录分析增加最新统计时间,优化目录净增存储量top排行;

6)表分析和生命周期诊断列表中的表存储量支持TB、GB等单位切换;

7)表分析中的推荐下线表和生命周期诊断列表中,对于文件数、open次数、表访问次数、日均job引用数、时间等支持排序;

8)资产详情页整改,优化搜索项,完善搜索功能正确性,针对主题域和表分层展示优化,表头展示优化,分层节点设置不允许重复。