更新合辑(2024年)
注:该产品已在v1.9.5版本正式更名为“维度建模”,但之前的历史版本记录中仍沿用“模型设计中心”名称。
版本:v1.9.6
新增功能
1.建模链路支持iceberg
功能介绍
- 支持创建iceberg表,在建表时可以选择执行引擎(Spark或Impala)、执行队列(只能选择有权限的队列)。
功能优化
1.添加和导入字段时,优化展示的数据元信息
功能介绍
字段列表页选择数据元时,下拉列表能展示数据元的中文和英文名称,之前仅有中文名称
引用标准导入字段时,展示标准数据元的英文名称,之前展示标准编码易读性不好
2.Doris表拉取规则支持库名为中文
功能介绍
- 针对Doris2.1.3版本,可能存在库名为中文场景,本次适配库名为中文场景,也能配置表的抓取规则。
3.Doris建表和修改表时,表属性改为非必填
功能介绍
- 创建和编辑Doris表时,表属性可以作为非必填项,此时若空则以集群默认配置为准
版本:v1.9.5
新增功能
1.建表页面支持标准检测
功能介绍
- 模型建表时,在字段设计页面中,对于没有关联数据元的字段会进行中英文检测推荐可引用的数据元,对于已引用数据元的字段会检测字段相关信息是否和数据元保持一致。
操作步骤
- 进入建表的字段设计页面,点击”标准检测“后,系统会自动检测并提供检测结果供用户确认。
2.模型导入支持配置是否自动检测并关联标准
功能介绍
- 模型导入时,若选择的导入模板是”批量建表(单sheet)“和”批量建表(多sheet)“,支持用户选择是否开启标准检测和关联,默认不开启,一旦开启后导入成功的表会自动检测字段匹配的数据元并进行关联。
注意事项
- ”批量建表&数据传输任务(ODS层)“和”批量建表&离线开发任务(DWD、DWS、DIM、ADS)“两个模板暂不支持自动检测并关联数据元。
功能优化
1.模型相关工单泡泡通知中,将“项目组id”统一都改为“项目组名称”
功能介绍
- 之前模型相关工单通知文案中显示了项目组id信息,用户看不懂,本次优化后将项目组id改为项目组名称
2.“模型设计中心”改名为“维度建模”
功能介绍
- “模型设计中心”改名为“维度建模”
版本:v1.9.4
新增功能
1.支持Doris建模
功能介绍
- 模型设计中心支持创建、编辑Doris表,包括Doris表属性、字段属性定义等
操作步骤
- 新建表选择数据源类型为Doris,继续建表流程即可
功能优化
1.Greenplum建表时导入的Excel模板调整,支持填写分区规则
功能介绍
- 之前导入Greenplum的模板不支持填写分区规则,本次优化后可以填写分区规则
操作步骤
- 点击导入,选择物化引擎为Greenplum类型,下载模板后即可在模板中填写分区规则
版本:v1.9.3
新增功能
1.建模链路适配TDH Inceptor
功能介绍
- 之前模型设计底层主要对接的是网易大数据底座NDH,本次新增了适配TDH底座,可在TDH集群上进行模型设计建表
注意事项
- 只有在TDH集群下,才支持建模适配TDH Inceptor相关功能
2.支持标准数据元推荐和审计
功能介绍
- 模型设计建表时,支持在字段设计页面根据输入的字段中文名称或者字段名称来推荐与之同名的标准数据元,采纳推荐的数据元后,会自动填充数据元、字段类型、长度、精度、字典等信息,大大提升用户填写效率和规范。标准推荐行为可以在安全中心进行审计记录。
功能详细使用步骤
- 进入建表页面,添加字段时,例如输入字段中文名称”手机号“,则下列列表会推荐和手机号相关的数据元,选中某个数据元后,系统会将数据元英文名称填充到字段名称里,并自动填充标准类型作为字段类型,标准长度作为字段长度,标准中文作为字段描述,标准的字典作为字段的字典等。同理,当用户没有输入字段中文名称,而是输入字段名称例如phone时,系统会推荐标准英文和phone相关的数据元,并且在采纳数据元后自动填充字段类型、长度、描述、字典等信息。
版本:v1.9.2
新增功能
1.【Roadmap-AutoETL】离线开发SQL代码支持参数组
功能介绍
- 批量导入时,若选择的是“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”模板,支持用户在Excel中填写离线开发模块中已创建的参数组参数,用于代替目标表的库名、表名等信息。导入Excel完成后,自动创建的离线开发SQL代码将直接引用参数组中的参数,用${param}显示,实际运行离线SQL任务时,会自动替换为参数组中定义的参数值。通过该功能,可以复用平台已定义的参数组功能。
功能详细使用步骤
- 首先在离线开发模块提前定义好参数组名称和参数值,然后在Excel模板中填写相关参数,Excel导入完成后查看自动创建的离线任务SQL即可看到参数例如${param},运行SQL任务就能实现参数替换
- 首先在离线开发模块提前定义好参数组名称和参数值,然后在Excel模板中填写相关参数,Excel导入完成后查看自动创建的离线任务SQL即可看到参数例如${param},运行SQL任务就能实现参数替换
注意事项
- 仅“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”和“批量建表&数据传输任务(ODS层)”两个模板支持引用参数组功能
2.【Roadmap-AutoETL】ODS模板支持字段自定义表达式
功能介绍
- 支持用户对业务源表字段设置自定义表达式,作为ODS表的新字段,例如current_timestamp() AS column1,column1即为ODS字段
功能详细使用步骤
- 模型导入时下载“批量建表&数据传输任务(ODS层)”模板,在Excel模板的表结构设计sheet页中,填写是否自定义表达式,默认空则不是,如填写“是”,则需要填写对应的自定义表达式内容,Excel导入完成后系统会根据Excel内容进行建表和建数据传输任务。Excel填写样例如下图所示:
- 模型导入时下载“批量建表&数据传输任务(ODS层)”模板,在Excel模板的表结构设计sheet页中,填写是否自定义表达式,默认空则不是,如填写“是”,则需要填写对应的自定义表达式内容,Excel导入完成后系统会根据Excel内容进行建表和建数据传输任务。Excel填写样例如下图所示:
注意事项
- 仅“批量建表&数据传输任务(ODS层)”模板支持设置字段自定义表达式
3.【Roadmap-AutoETL】支持字段设置加工规则
功能介绍
- 批量导入场景下,支持在Excel模板中设置字段的加工规则,常用于字段计算。设置完成后生成的离线开发SQL代码会自动拼接加工逻辑。
功能详细使用步骤
- 导入时选择下载“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”模板,在模板中可设置字段的加工规则,设置完成导入Excel后,系统会自动生成离线开发SQL加工代码。Excel填写样例如下图所示:
- 导入时选择下载“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”模板,在模板中可设置字段的加工规则,设置完成导入Excel后,系统会自动生成离线开发SQL加工代码。Excel填写样例如下图所示:
注意事项
- 仅“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”和“批量建表&数据传输任务(ODS层)”两个模板支持设置字段转换规则
功能优化
1.ODS模板增加传输任务归属目录和检测条件
功能介绍
- 在“批量建表&数据传输任务(ODS层)”模板中,之前自动创建的传输任务不支持指定传输任务的目录位置,后面数据传输模块支持指定任务目录的功能后,模型导入的Excel模板中也适配支持指定任务目录的功能
功能详细使用步骤
- “批量建表&数据传输任务(ODS层)”导入模板中支持设置传输任务的保存位置信息,如下图所示:
- “批量建表&数据传输任务(ODS层)”导入模板中支持设置传输任务的保存位置信息,如下图所示:
注意事项
- 仅“批量建表&数据传输任务(ODS层)”模板支持设置传输任务目录信息
2.离线开发SQL代码支持格式化
功能介绍
- 之前导入Excel后生成的离线开发SQL代码没有自动格式化,导致查看SQL时可读性较差,故本次增加代码自动格式化功能,方便用户查看SQL。
功能详细使用步骤
- 上传“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”模板并完成建表及建离线开发任务,然后查看离线开发模块中自动生成的SQL代码,即可查看到已经格式化的SQL代码
注意事项
- 仅“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”模板支持
3.模板中Hive增加主键设置
功能介绍
- 之前Excel模板中没有指定字段是否主键的功能,本次模板中支持用户设置Hive字段是否为主键
功能详细使用步骤
- 下载模板并设置字段是否主键,如下图所示:
- 下载模板并设置字段是否主键,如下图所示:
注意事项
- 仅“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”和“批量建表&数据传输任务(ODS层)”两个模板支持
4.AutoETL相关模板的功能默认开放给所有数仓开发使用
功能介绍
- 之前AutoETL的“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”和“批量建表&数据传输任务(ODS层)”两个模板功能是内测阶段,故功能默认没有放开给所有客户。本次将开放该功能给所有客户使用
功能详细使用步骤
- 点击导入,即可查看AutoETL的“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”和“批量建表&数据传输任务(ODS层)”两个模板并使用
- 点击导入,即可查看AutoETL的“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”和“批量建表&数据传输任务(ODS层)”两个模板并使用
版本:v1.9.1
新增功能
1.模型设计中心支持GaussDB
功能介绍
- 模型设计中心支持创建、编辑GaussDB表,包括GaussDB表属性、字段属性定义等
版本:v1.9.0
新增功能1.新建表和地图的资产目录打通
功能介绍
- 模型设计中心在建表时,增加设置表所归属的资产目录信息,且该资产目录信息和元数据管理中的保持一致
2.支持StarRocks建模
功能介绍
- 模型设计中心支持创建、编辑StarRocks表,包括StarRocks表属性、字段属性定义等
1.新建和导入模板增加元数据中的“备注”字段
功能介绍
- 模型设计中心建表时,增加填写表备注、字段备注信息
版本:v1.8.9
功能优化
1.适配标准数据元新增decimal类型
功能介绍
- 数据元的数据类型新增decimal,后续在模型设计中心引入标准新建字段,支持自动带入字段类型为decimal
版本:v1.8.8
新增功能
1.DWD、DWS、DIM、ADS导入模板,新增调度配置信息
功能介绍
- DWD、DWS、DIM、ADS导入模板中,新增离线加工任务节点调度信息的配置,系统根据解析调度配置来构建任务节点间的依赖关系,从而大大减少人为设置的工作量,达到提效降本的目的
注意事项
- 无
2.模型设计中心,新建GP表后,自动注册至元数据中心
功能介绍
- 模型设计中心新建GP表后,自动触发元数据注册,从而在元数据管理模块可以查看到该表的记录,方便后续对GP表做后续的治理工作
注意事项
- 无
功能优化
1.支持自动生成ETL代码头部和建表语句
功能介绍
- 系统自动建表的DDL语句,默认增加头部注释信息,注释信息包括创建时间、创建人、表描述、更新时间、更新人等
注意事项
- 无
2.自动生成ETL代码,规范代码逻辑
功能介绍
- 系统自动创建的加工任务SQL代码优化,来源表过滤逻辑用子查询方式实现
注意事项
- 无
3.ODS层支持从源库抓取表结构
功能介绍
- ODS导入模板,用户可自行自定义ODS表结构,也可以不定义ODS表结构,此时系统将自动拉取源库表的表结构信息自动生成ODS表
注意事项
- 无
4.DWD、DWS、DIM、ADS模板细节优化
功能介绍
- 模板中去掉部分冗余列信息,同时优化个别列的展示顺序
注意事项
- 无
版本:v1.8.7
新增功能
1.导入时新增DWD、DWS、DIM、ADS模板,支持自动创建表和离线加工任务
功能介绍
- 导入时新增DWD、DWS、DIM、ADS模板,该模板可填写DWD、DWS、DIM、ADS表结构信息、离线加工任务信息,导入后系统支持自动创建DWD、DWS、DIM、ADS表、离线加工任务和节点,通过该功能可以简化数据开发人员重复建表和建离线加工任务的工作,达到提效降本的目的。
注意事项
- 无
2.物化引擎支持Hive、Greenplum类型
功能介绍
- 导入时支持物化引擎为Hive、Greenplum类型,最终建表为hive表或者Greenplum表
注意事项
- 目前Hive类型支持4种导入模板,Greenplum类型仅支持2种模板,选择模板时请注意
版本:v1.8.6
新增功能
1.导入时新增ODS模板,支持自动创建ODS表和数据传输任务
功能介绍
- 导入时新增ODS模板,该模板可填写源库信息、ODS表结构信息、数据传输任务信息,导入后系统支持自动创建ODS表、数据传输任务,通过该功能可以简化数据开发人员重复建表和建传输任务的工作,达到提效降本的目的。
注意事项
- 无
以上内容对您是否有帮助?