更新合辑(2024年)
版本:v3.26.0
新增功能
1.【离线】数据来源和去向适配达梦8.1.3版本。
2.【离线】数据去向为StarRocks数据源时,导入方式为stream load支持FENode地址高可用。
3.【离线】数据导出功能适配数据源类型为HDFS的离线传输任务。
4.【实时】来源为Oracle表时,若表名超过30个字符,无法采集任务不支持选择,进行功能适配;
5.【离线】DataX任务引擎功能增强,
- 功能介绍:
- 数据去向为HDFS时,去向字段类型支持Decimal、Binary;
- 数据去向为HDFS时,同名文件处理策略新增overwrite,且原本的truncate中文名称由"覆盖"变更为"截断",新增的overwrite中文名称为"覆盖";
- 对接发布中心功能适配DataX任务引擎;
- DataX任务引擎下支持参数组引用;
- 数据来源为HDFS时,来源表字段类型支持自定义表达式。
6.【离线】离线任务的来源和去向的数据源类型支持Hudi。
7.【实时】数据去向的数据源类型支持选择Hudi。
功能优化
1.对接发布中心的功能优化,包括命中接收方的传输任务审批策略逻辑优化等。
版本:v3.25.0
新增功能
1.【实时】实时传输任务,数据来源新增MongoDB。
- 功能介绍:
- 创建实时同步任务,任务类型为多表同步时,数据来源支持选择MongoDB。
- 注意事项:只有当MongoDB版本>=3.6时才支持创建实时同步任务,增量读取方式为change streams。
功能优化
1.针对传输分区使用az参数报错的问题进行优化,传输侧升级了az修复后的sdk包。
版本:v3.24.0
新增功能
1.【离线】数据去向为FTP时,文件格式支持dbf。
- 功能介绍:
- 创建离线传输任务,若数据去向为FTP时,支持文件格式选择dbf。
2.【离线】批量创建任务,支持选择任务引擎DataX,支持MySQL、Oracle、SQLServer、GaussDB数据源在DataX任务引擎下批量创建任务。
- 功能介绍:
- DataX非标品功能,需额外部署;
3.【离线】支持GoldenDB数据源类型创建离线传输任务。
- 功能介绍:
- 单个创建离线传输任务时,向导模式下,来源和去向支持选择GoldenDB数据源类型;
- 批量创建离线传输任务时,支持选择数据来源为GoldenDB类型;
- 任务包导入导出功能支持GoldenDB数据源类型。
4.【离线】当数据去向为FTP时,列分隔符支持填写多个字符,且最多不超过64个字符;
5.重点功能增加埋点统计功能,包括新建离线同步任务、新建实时同步任务、批量操作等相关功能;
功能优化
1.【离线】离线传输任务融入离线开发的功能优化,包括支持在离线开发侧删除引用的传输任务、支持复制传输任务时选择是否同步复制离线传输任务等;
2.【离线】非结构化功能适配spark3.3版本。
- 功能介绍:
- 当数据来源为FTP时,读取方式为非结构化,适配spark3.3版本;
- 当数据来源为HDFS时,读取方式为非结构化,适配spark3.3版本;
3.【实时】实时传输任务Doris适配2.0版本;
4.【实时】实时传输的数据来源类型支持配置化展示;
5.【离线】创建离线传输任务,快速创建表增加文案提示,建表语句为系统根据默认的字段类型映射关系自动生成,不保证建表语句完全符合需求,请调整确认后再执行建表;
6.【离线】问题修复:包括页面支持库.表名方式搜索、线上任务和开发模式任务对比功能优化等。
7.对接发布中心的功能优化,支持在发布中心侧,点击数据传输任务名称可跳转至任务详情页,包括资源列表、发布记录、发布实例包等相关页面;
8.【离线】当数据去向为SFTP数据源类型时,若sftp采用ssh key的认证方式,且私钥格式为openssh时,离线数据传输对私钥格式进行适配;
9.【离线】数据去向为StarRocks时,导入方式功能优化,仅支持append的方式;
10.【离线】脱敏功能优化,当清空脱敏字段时,一并清空脱敏识别中的扫描规则,支持离线任务保存。
版本:v3.23.0
新增功能
1.【离线】离线同步任务,数据库名称支持大小写模糊搜索。
- 功能介绍:
- 包括创建单个离线同步任务的数据来源和去向、批量创建任务选择的数据来源、数据导入时选择数据去向时,均支持根据数据库名称大小写模糊搜索的功能。
2.【离线】kafka适配支持spark3.3版本。
3.【离线】批量创建任务时新建表支持批量添加字段,包括页面形式和Excel上传两种方式批量创建表时添加字段。
- 功能介绍:
- 仅支持数据去向为Hive时,批量创建表添加字段;
- 页面形式批量创建任务时,若数据去向为Hive时,支持批量创建表时添加字段,可填写自定义表达式,用于标识譬如同步时间、同步人等参数。
- 通过Excel方式批量创建任务时,Excel表格更新,支持针对新建hive表批量添加字段。
4.【离线】数据来源和去向适配api Token鉴权方式的ES8版本。
5.【离线】创建单个离线传输任务时,在脚本模式下,数据来源为Hive时,支持Hive表名和字段名大小写不敏感功能。
6.【离线】DataX引擎,数据去向为HDFS支持选择字段类型。
- 功能介绍:
- DataX任务引擎下,当数据去向为HDFS时,支持数据去向字段选择字段类型,选择范围包括Int、Float、Double、Date、TimeStamp等。
7.提供SPI支持发布中心基于血缘的发布功能。
- 功能介绍:
- 配合发布中心,提供数据传输相关的SPI支持基于血缘的发布功能。
8.【离线】DataX引擎,适配SQL模式。
- 功能介绍:
- 本版本支持在DataX任务引擎下,在SQL模式下可选择ClickHouse、MySQL、Oracle、PostgreSQL和SQLServer数据源创建离线同步任务。
功能优化
1.【离线】复制离线同步任务后,新复制的任务保存位置优化为与原任务一致;
2.【实时】实时同步任务,数据去向为Doris或StarRocks数据源类型时,增加表类型符合判断。
- 功能介绍:
- 创建实时任务时,若数据去向为Doris或StarRocks数据源时,只有当表满足特定要求才支持点击下一步,否则会造成任务失败。
- 仅支持Doris去向表为Unique Key模型;
- 仅支持StarRocks去向表为主键表。
3.【离线】离线传输任务,当数据来源为MongoDB时,字段类型定义方式优化,默认为自定义字段类型。
4.【离线】试运行的离线传输任务的日志,当任务运行成功后,日志信息前置,优化日志信息展示内容,支持快速查看传输开始时间、传输结束时间、传输耗时等参数。
5.【离线】创建单个传输任务时,若库名和表名名称太长,支持Hover展示全部内容。
6.【离线】创建单个传输任务时,优化获取最新表结构时的弹窗交互,增加滚动条适配。
7.【离线】优化在选择数据来源和去向表时,由于库表异常导致返回空列表的报错展示。
8.优化对接发布中心的资源负责人逻辑,支持判断资源负责人为"资源实际导入人"时是否支持发布的功能。
9.【实时】对于正在运行中的实时传输任务,优化日志展示样式,解决长时间loading导致无法查看其他tab下日志的问题。
10.问题修复,包括去向表自动新增字段未生效、导入至ftp数据源时json格式报错、HiveKafka传多个key值数据异常等问题。
11.【实时】创建实时传输任务时,优化多张表结构不同却选择了同一个Topic导致任务失败的问题。
12.交互优化,包括弹窗按钮、线上任务引用详情弹窗表格适配等。
13.【实时】优化将来源表全部移除但仍支持点击下一步的逻辑问题。
版本:v3.22.0
新增功能
1.【离线】来源和去向新增支持Paimon数据源类型
- 功能介绍:
- 创建离线传输任务,支持在spark引擎/向导模式下,数据来源和去向选择Paimon数据源类型;
- Paimon数据源不支持快速创建表功能。
版本:v3.21.0
新增功能
1.【离线】来源和去向新增支持S3数据源类型
- 功能介绍:
- 来源为S3时,支持结构化方式读取S3的txt、csv、excel、parquet文件;去向为S3时,支持向S3结构化写入text、csv、excel、json、parquet文件。 2.【实时】数据去向支持Paimon
- 功能介绍:
- 数据去向支持Paimon,支持选择内置集群下归属于当前项目的Paimon表和公开给当前项目的Paimon表。此外,权限控制上,仅支持选择当前用户有写权限的Paimon表。
- 写入规则上,如Paimon表有主键则写入规则为Change-log,如Paimon表无主键则写入规则为Append-only。
功能优化
1.【离线】来源为PostgreSQL时支持SQL模式
版本:v3.20.1
新增功能
1.【离线传输】DataX引擎新增支持HDFS作为来源和去向。
- 注意事项:DataX为非标品功能,需额外部署。详情请查阅数据传输 v3.18.0 更新公告。
2.【离线传输】DataX引擎新增支持GaussDB作为来源和去向。
- 注意事项:DataX为非标品功能,需额外部署。详情请查阅数据传输 v3.18.0 更新公告。
版本:v3.20.0
新增功能
1.【离线】在离线开发支持新建、编辑、提交、删除离线同步任务
功能介绍:
- 此前,离线同步任务的使用流程为在数据传输-离线同步任务新建、编辑和提交任务,并在离线开发-离线同步节点中选择节点引用的离线同步任务。离线开发任务线上模式引用传输线上模式的任务配置,离线开发任务开发模式引用传输开发模式的任务配置。此模式带来的问题是:1、操作链路长:离线同步节点需要在传输侧新建和提交,操作繁琐;2、容易出事故:新建任务时,如漏提交离线同步任务,离线开发任务线上调度时会报错;3、无法复用离线开发的提交上线卡点:修改传输任务后,传输侧提交即可针对下一次调度生效,无需前往离线开发提交离线开发任务,不受提交上线卡点管控。由此,此版本进行了整体使用流程的优化。
- 支持在离线同步节点新建和编辑离线同步任务,保存离线开发任务时触发保存离线同步任务。同时,仍保留数据传输侧的新建、批量新建、编辑任务的入口。
- 离线同步任务提交的入口由数据传输侧移至离线开发,不再需要在数据传输提交上线任务。离线开发任务提交上线任务包时,会同步将引用的离线同步任务也提交上线。
- 删除离线开发任务时,支持选择是否一并删除引用的离线同步任务。同时,仍保留数据传输侧的删除任务的入口。
功能使用注意事项:
- 如果同一离线同步任务被多个离线开发任务,保存任务:任一离线开发任务保存,引用的离线同步任务即会保存。
- 如果同一离线同步任务被多个离线开发任务,提交任务:任一离线开发任务提交上线,引用的离线同步任务即会提交上线。同时,会给其余离线开发任务负责人发送通知,提醒任务线上模式发生变更。
- 如果同一离线同步任务被多个离线开发任务,删除任务:删除离线开发任务时,不支持删除引用的离线同步任务。仅当离线同步任务未被离线开发任务引用时,方可删除离线同步任务。
2.【离线】数据来源新增数据源类型:WebService
- 功能介绍:
- 数据来源新增数据源类型:WebService
3.【离线】数据来源为Hive和StarRocks时,支持根据安全中心数据识别结果自动推荐来源表字段和脱敏规则
- 功能介绍:
- 数据来源为Hive和StarRocks时,点击“自动推荐”按钮,会在数据脱敏配置中自动添加安全中心数据识别结果中识别的来源表敏感字段和脱敏规则。
- 如数据识别结果中仅包含敏感字段、敏感类型,未确认脱敏规则,则会从安全中心脱敏规则列表中自动推荐该敏感类型对应的脱敏规则,如同一敏感类型存在多个脱敏规则则取引用数最多的脱敏规则。
- 如数据识别结果中仅包含敏感字段,未确认敏感类型和脱敏规则,则仅在脱敏配置中自动添加敏感字段,脱敏规则由用户手动选择。
- 页面形式批量新建任务-数据脱敏中,支持基于单个来源表自动推荐,支持批量自动推荐。
功能优化
1.【离线】数据去向为PostgreSQL时,新增写入规则:On conflict key update
- 功能介绍:
- On conflict key update的写入规则,指遇更新键冲突,更新原记录,未映射字段值不变。
- 更新键支持多选,建议选择主键或区分度较大的字段作为更新键。
- 仅当版本>9.5时,该写入规则可用。
2.【离线】PostgreSQL作为来源和去向新增支持版本:12.8
3.【离线】Greenplum作为来源和去向新增支持版本:6.16
4.【离线】去向为Doris和StarRocks时,写入规则新增支持:Merge、Delete
- 功能介绍:
- 导入方式为stream load时:如写入规则为Merge,会删除满足删除条件的原记录,追加不满足删除条件的记录;如写入规则为Delete,会删除与导入数据 key 列值相同的原记录。
- 导入方式为borker load时:如写入规则为Merge,会删除表中满足删除条件的原记录,追加写入其余记录;如写入规则为Delete,本次导入的所有数据皆为删除数据。注意:仅当表类型为Unique Key 模型表,可以选择Merge和Delete。
5.【离线】来源和去向为clickhouse时,适配认证方式为SSL认证的Clickhouse数据源
6.【离线】来源为API时,字段解析功能不过滤空字段
7.【离线】页面形式批量新建任务,数据来源新增支持Clickhouse数据源
8.【离线】来源为clickhouse时,适配SQL模式
9.【离线】发布中心“参数组引用”和“Hive表检测“的检测逻辑优化
- 功能介绍:
- 如任务引用的参数组在接收方不存在时,会再检测发布包内是否存在该参数组,如发布包中也不存在则强规则检测不通过。
- 如任务引用的Hive表在接收方查询时,发现接收方存在同名库、不存在同名表、需要新建,会再检测发布方的发布包内是否存在同名Hive库表,如发布包中也不存在则则弱规则检测不通过。
版本:v3.19.0
新增功能
1.【离线】数据去向为Doris和StarRocks时,支持快速新建表
- 功能介绍:
- 数据去向为Doris和StarRocks时,支持快速新建表
- 功能使用注意事项
- 在配置管理-快速创建表配置中,支持针对Doris和StarRocks设置是否启用模型设计中心的ODS层表名规则和字段类型映射规则。
2.【离线】来源为关系型数据库、去向为StarRocks时,来源表结构变更策略针对新增字段支持:去向表自动新增该字段,建立映射并同步数据
- 功能使用注意事项
- 仅当数据源登记的账号有StarRocks表新建字段的权限时,方可自动新增字段,否则任务运行会报错。
3.【实时】数据去向新增支持数据源类型:Doris
- 功能介绍:
- 数据去向新增支持数据源类型:Doris,适配版本为:1.1、1.2、2.0
4.【实时】数据去向为Iceberg和StarRocks时,支持快速新建表
- 功能介绍:
- 数据去向为Iceberg和StarRocks时,支持快速新建表和批量新建去向表。
功能优化
1.【离线】数据去向为clickzetta时,支持配置重试参数
2.【离线】HBase作为来源和去向新增支持2.2版本
3.【离线】数据来源为API且请求方式为post时,增加Params配置项
- 功能介绍:
- 数据来源为API且请求方式为post时,增加Params配置项,支持将参数拼接到url上
4.【离线】数据来源和去向为Doris时,适配2.1版本
5.【离线】数据来源和去向为Doris时,支持读写名称含中文的字段
6.【离线】数据来源和去向为Greenplum时,适配7.1版本
Bug修复
1、修复实时同步任务-设置报警-报警组下拉列表获取失败的问题
版本:v3.18.0
新增功能
1.【离线】针对非Hadoop环境,离线同步任务的任务引擎支持DataX引擎
- 功能介绍:
- Hadoop环境下,离线同步任务引擎支持Spark引擎;非Hadoop环境下,离线同步任务引擎支持DataX引擎。
- 任务引擎为DataX引擎时,支持的数据源类型包含:Doris、MySQL、Oracle、PostgreSQL、SQLServer、StarRocks、TeleDB。
- 功能使用注意事项
- 客户环境部署时,会根据客户环境部署相应环境的任务引擎。
2.【实时】数据去向支持StarRocks
- 功能介绍:
- 数据去向支持StarRocks,支持的版本为:1.19、2.4、3.2,支持的认证方式为:用户名密码认证
- 功能使用具体步骤
- 功能入口:
- 功能入口:
3.【离线】数据来源为FTP、协议为SFTP、文件格式为text、csv、excel、xml、json、dbf时,支持设置并发读取和并发数
- 功能介绍:
- 此前的版本中,数据来源为FTP、协议为SFTP时,为提升传输性能,结构化读取时默认会开启并发读取,每个文件会分别使用一个线程进行数据抽取。此版本进行了功能优化,文件格式为text、csv、excel、xml、json、dbf时,支持由用户设置是否开启并发读取,以及开启并发读取时的并发数。
- 如读取多个FTP文件,开启并发读取开关后会使用多线程进行数据抽取,线程并发数由“并发数”配置指定;如读取单个FTP文件,只能使用单线程进行数据抽取,并发读取开关不生效。
- 并发数的设置:如选择“文件数”,指每个文件会分别使用一个线程进行数据抽取;如选择“自定义”,实际线程并发数=min(文件数,填写的并发数)。
- 此功能不影响历史任务,历史任务仍保持原设置:开启并发读取、并发数为文件数。
- 如需针对平台内所有SFTP任务关闭并发读取,可联系技术支持在EasyOps进行全局配置:ndi.spark.spark-conf.spark.transmit.reader.ftp.sftpConnectionMultiplexing=true。
功能优化
1.【离线】数据去向为PostgreSQL时,写入规则支持copy
- 功能介绍:
- 数据去向为PostgreSQL时,写入规则支持copy(拷贝数据),大数据量时推荐使用。
2.【离线】数据来源为Clickzetta时,支持并发读取
- 功能介绍:
- 数据来源为Clickzetta时,支持并发读取。
3.【实时】数据去向为Kafka时,新建Topic功能放宽topic名称限制
- 功能介绍:
- 创建Topic时,原来会限制仅允许输入小写字母、数字、下划线、参数组参数,topic名称长度限制最多64个字符,导致部分情况下影响使用。此版本改为:允许输入大小写字母、数字、“_”、“-”、“.”、参数组参数。
版本:v3.17.0
新增功能
1.【离线】去向为Iceberg时支持快速创建表
- 功能介绍:
- 离线同步任务数据去向为Iceberg时,支持快速新建Iceberg表。
- 去向表的字段名称默认与来源表字段名称保持一致,去向表的字段类型默认映射来源表的字段类型,字段类型映射规则可在数据传输-配置管理-快速创建表配置-字段类型映射规则进行自定义配置。
- 功能使用注意事项
- 仅来源为关系型数据库和Maxcompute时去向支持快速新建Iceberg表。
- 功能使用具体步骤
- 功能入口:
- 功能入口:
2.【实时】来源为关系型数据库、去向为除Kafka外的数据源时,支持批量转换来源表字段
- 功能介绍:
- 来源为关系型数据库、去向为除Kafka外的数据源时,支持批量转换字段。使用方式是批量勾选来源表字段(可跨页勾选),并填写自定义表达式,会根据填写的自定义表达式对选择的来源表字段批量转换为自定义表达式。
- 自定义表达式支持填写Flink函数。支持的内置变量为${source_column}和${target_column},分别表示来源表字段名称和去向表字段名称。
- 功能使用注意事项
- 系统预置了去除前后空格、字段类型转换、空值替换等常用的自定义表达式,也支持自定义输入自定义表达式。
- 格式:表达式 as 列名。如:TRIM(${source_column}) as ${target_column}
- 功能使用具体步骤
- 功能入口:
- 功能入口:
功能优化
1.【离线】StarRocks适配3.2版本
- 功能介绍:
- StarRocks适配3.2版本,“源系统账号映射”中账号认证方式支持账号密码认证和LDAP认证 2.【离线】Clickzetta驱动替换,兼容http协议
版本:v3.16.0
新增功能
1.【离线】任务目录新增支持自定义目录,并支持切换自定义目录和系统目录
- 功能介绍:
- 离线同步任务原已支持系统目录(按照数据来源分类),此版本新增支持自定义目录。 自定义目录功能包含:支持目录的新建、重命名和删除,支持将任务保存在指定目录下,支持按照目录结构展示任务。
- 功能使用注意事项
- 支持切换系统目录和自定义目录,并支持由项目负责人和项目管理员设置默认目录。默认目录的作用:当前项目-集群的所有用户进入任务列表页时,目录树会按默认目录的目录结构进行展示。
- 自定义目录最多支持新建三级目录。已创建的历史任务的保存位置默认为“/根目录”,在列表页会展示在“未分组”目录下。如需修改历史任务的保存位置,可通过“批量修改保存位置”来批量修改任务的保存位置。
- 自定义目录权限:仅支持由项目负责人、项目管理员新建目录、删除目录和重命名目录。如目录下存在子目录或任务,则目录不可删除。
- 离线同步任务导入时,会判断导入方是否存在导出方任务保存位置对应的目录,如导入方存在该目录的话任务的保存位置保持不变,会继续放在该目录下;如导入方不存在该目录,则自动在接收方先新建目录,再导入任务。
2.【离线】GaussDB、Oceanbase、API、Doris适配Spark3.3
3.【实时】任务目录新增支持系统目录,并支持切换自定义目录和系统目录
- 功能介绍:
- 实时同步任务原已支持自定义目录,此版本新增支持系统目录(按照数据来源分类)。
- 功能使用注意事项
- 支持切换系统目录和自定义目录,并支持由项目负责人和项目管理员设置默认目录。默认目录的作用:当前项目-集群的所有用户进入任务列表页时,目录树会按默认目录的目录结构进行展示。
- 系统目录(按照数据来源分类)一级目录为任务数据来源的数据源类型,二级目录为任务数据来源的数据源名称。
4.【实时】数据来源新增PostgreSQL
- 功能介绍:
- 任务类型为多表到多表同步时,数据来源新增PostgreSQL。
- 功能使用注意事项
- 仅插件版本为2.x时支持此功能。
5.【实时】数据去向新增SQLServer
- 功能使用注意事项
- 仅插件版本为2.x时支持此功能。
6.【实时】日志支持展示启动、TM、JM、停止日志
- 功能介绍:
- 实时同步任务原查看日志时仅支持查看启动日志。实时任务停止后无法再次查看该次运行的Flink UI界面和TM日志,对问题排查非常不利,需要提供任务停止后的相关任务信息特别是日志信息进行问题定位。故此版本对日志功能进行增强,支持展示启动、TM、JM、停止日志。
- 功能使用注意事项
- 底层会设置日志定期清理策略。如日志已过期,则查看日志时会提示日志过期。
7.【实时】报警支持群聊报警
- 功能介绍:
- 当用户环境已配置群聊报警插件(如:企业微信群、钉钉群)时,实时同步任务设置报警时支持群聊报警。
- 针对各报警规则,可选择群聊报警接收方式,并选择报警接收群和报警通知人。群聊报警时,会向配置的群聊发送报警时并@报警接收人。
- 注意:请保证报警接收人在群内,否则仅会向群发送消息,不会@报警接收人。此外,@报警接收人需对应报警渠道支持该功能。
- 功能使用具体步骤
- 功能入口:
- 功能入口:
功能优化
1.【离线】HBase作为来源和去向时新增支持2.1版本、Kerberos认证
- 功能使用注意事项
- 需要打通平台内置集群和HBase所在集群的互信后方可使用此功能。
- 执行任务时,会使用任务执行账号访问该HBase。
2.【离线】Kudu作为来源和去向时新增支持1.10版本、Kerberos认证
- 功能使用注意事项
- 需要打通平台内置集群和Kudu所在集群的互信后方可使用此功能。
- 执行任务时,会使用任务执行账号访问该Kudu。
3.【离线】批量新建任务-页面形式新建 选择来源表组件优化
- 功能使用具体步骤
- 功能入口:
- 功能入口:
4.【离线】数据去向为HCP时,非结构化写入的技术方案优化:由Hadoop distcp改为Spark distcp,不依赖于Hadoop版本
5.【实时】来源为MySQL时支持自定义参数source.fields.convert-tinyint-one-boolean.enabled
- 功能介绍:
- 参数名称:source.fields.convert-tinyint-one-boolean.enabled,用于控制MySQL表字段类型为tinyint时写入去向的字段类型。默认值为true,即按照boolean类型写入数据去向;值为false时,会按照tinyint类型写入数据去向。
6.【实时】任务选择参数组的交互优化
- 功能介绍:
- 修改参数组后,不自动清空已选的来源表列表。如需调整来源表,可点击“刷新”图标获取最新来源表并重新选择。
版本:v3.15.0
新增功能
1.【离线+实时+数据导入】实时同步任务和数据导入对接安全中心功能权限,离线同步任务由安全中心旧版功能权限迁移至新版功能权限
- 功能介绍:
- 离线同步任务、实时同步任务、数据导入模块的功能权限对接安全中心功能权限。功能权限配置入口在安全中心-安全管理-角色管理-项目级-数据传输。
- 功能使用注意事项
- 默认仅任务负责人和安全中心授予任务操作权限的用户可操作任务。此外,安全中心可配置是否默认给项目负责人和项目管理员预置任务操作权限。
- 离线同步任务的功能权限原配置入口在安全中心-安全管理-权限管理-功能权限模块,此次配置入口变更系统会自动迁移权限数据。
- 各操作的功能权限要求详见数据传输-功能权限整体说明章节。
2.【离线】离线同步任务来源和去向新增数据源类型:Clickzetta
- 功能介绍:
- 离线同步任务来源和去向新增数据源类型:Clickzetta
- 功能使用注意事项
- 数据去向为Clickzetta时,由于Clickzetta提供的SDK限制,暂不支持int8字段类型。
3.【实时】实时传输对接安全中心审计日志
功能优化
1.【离线】Clickhouse作为来源和去向时新增支持22.3版本
2.【离线+实时】数据来源为Kafka时支持指定GroupID是由系统生成还是自定义设置groupid
3.【离线】Hive作为来源和去向时新增支持3.1.0版本、Simple认证
以上内容对您是否有帮助?