离线同步任务支持MongoDB数据源,支持该数据源的抽取(Reader)导入(Writer),当前数据源管理模块支持登记的版本为:3.03.43.4.19)、3.63.6.13)、4.24.2.7)、4.4.56.0

使用前提


在使用之前需要在项目中心(新)完成MongoDB数据源的登记。
数据源登记过程中,需要填写如下信息:

  • 数据源名称:MongoDB数据源的名称
  • 数据源标识:仅允许包含英文小写、数字、下划线,只允许英文小写开头,最大长度为64个字符。平台内唯一,保存数据源后数据标识不可修改
  • 归属项目:由于元数据中心是项目组级别,因此此处支持选择项目组下的项目,默认为当前项目名称
  • 归属逻辑数据源:批量登记的数据源选择归属逻辑数据源时,请勿选择已添加一个生产数据源和一个测试数据源的逻辑数据源。否则可能会导致引用该逻辑数据源的线上任务执行失败。
  • 负责人:默认为当前创建人员
  • 管理员:同负责人,有该数据源的管理权限,包括编辑、设置“源系统账号映射”。可在安全中心为自己或其他人设置该数据源的使用权限
  • 使用授权:可选项目组内所有项目,也可指定项目授权
  • 版本:可选择需要添加的数据源版本
  • host:输入host,格式为ip:port
  • 数据库:输入数据库名称
  • 用户名:填写用户名
  • 密码:填写密码
  • 自定义属性:支持添加数据源的其它配置

除了数据源需要准备之外,进行离线同步任务创建和数据源的使用都需要在安全中心-功能权限中添加相应的权限(可参考数据传输权限元数据中心权限)。

MongoDB作为数据来源


当MongoDB作为数据来源时,配置如下:
MongoDB - 图1

  • 数据源:选择MongoDB和已经登记的MongoDB的数据源
  • 集合名称:填写数据库和集合名称
  • 过滤条件:支持MongoDB的数据筛选语法。例如取集合中id字段值大于100的所有文档,过滤条件为{id : { $gt : 100 } }
  • 字段类型定义方式:支持选择自定义字段类型或系统采样推断字段类型
  • 字段信息:若选择自定义字段类型,可点击数据解析或手动添加字段及字段类型
  • 特殊字符替换
    1. 不可见字符请使用Unicode编码表示
    2. 使用下列字符:|、^、$、.、*、\、?、+、{ 、}、[、 ]、( 、)时,请在字符前添加"\"来表示。示例:"|"字符表示为"\|"
    3. 需要替换多个特殊字符时,字符间请使用","分隔。不支持替换","字符

MongoDB作为数据去向


当MongoDB作为数据去向时,配置如下:
MongoDB - 图2

  • 数据源:选择MongoDB和已经登记的MongoDB数据源
  • 集合名称:填写数据库和集合名称
  • 写入规则:支持append、overwrite两种写入规则
    • append:追加数据
    • overwrite:覆盖数据