功能入口

在数据传输页面，单击左侧菜单栏中离线同步任务，进入任务管理页面。在该页面中，单击新建任务进行离线同步任务配置。

填写基本信息

在基本信息中完成任务名称、负责人、任务类型、引用参数组、描述的填写。

配置数据来源与去向

完成基本信息填写后，首先需要在数据来源配置离线同步任务节点的读取端数据源，以及需要同步的表等信息。

• 数据来源

完成数据来源的配置后，可以在右侧配置数据去向的数据源，以及需要写入的表信息等。

• 数据去向

此处以Hive为例：

配置字段映射

在完成数据来源和数据去向的配置后，需要指定数据来源端和去向端的映射关系。支持获取最新表结构、同名映射、同行映射、清空映射、不导入以及自定义表达式。

字段映射支持批量转换来源表字段的数据类型，如果字段映射列表中存在来源表字段类型和去向表字段类型满足指定条件的组合，支持将相应的来源表字段类型进行批量转换。点击批量转换数据类型按钮可进行批量转换数据类型设置。

在批量转换数据类型页面中支持通过设置来源表字段类型、去向表字段类型以及数据类型转换表达式完成批量转换规则的配置。

此处的转换逻辑是，将来源表字段类型通过数据类型转换表达式进行转换，去向表字段类型作为转换范围的约束条件，例如当前来源表字段类型为int，默认转化为去向表字段类型中既有int又有string，现在希望将int->int的映射关系全部变为int->string，需要在来源表字段类型处选择int，去向表字段类型处选择int，数据类型转换表达式处填写int转化为string的表达式（表达式写法取决于来源表类型）。

关于数据类型转换表达式格式为{表达式} as {列名}，其中{表达式}为填写的数据类型转换表达式， {列名}为填写的转换后来源表字段名称。

• 支持填写常量、系统内置参数、参数组参数、函数表达式（若数据来源为关系型数据库，支持填写来源数据库的系统函数和自定义函数；若数据来源为其他数据源类型，支持填写Spark函数）。（这部分功能继承了上面的自定义表达式功能）
• 填写格式中的{列名}建议填写为${target_column}，即去向表字段名称。如果需要填写为${source_column}，需要保证来源表字段名称中没有空格，否则任务会报错。

最后，通过一个示例介绍下该功能的用法。以MySQL to Kudu为例，选择的来源表字段类型为date，去向表字段类型为string，数据类型转换表达式为：date_format(${source_column}, '%Y-%m-%d') as ${target_column}，如果命中的来源表字段名称为age，去向表字段名称为Age，则在字段映射列表中会将来源表字段age切换为自定义表达式：date_format(age,'%Y-%m-%d') as Age。

高级配置

对于传输任务根据不同的场景有时候还需要进行高级项的配置，比如流量控制、来源表结构变化策略、脏数据管理、数据脱敏、任务参数等。

流量控制

流量控制支持不限速和限速两种模式，当选择限速时，支持条/s和MB/s。

来源表结构变化策略

当数据来源表（仅限关系型数据库）新增字段时，支持配置来源表结构变化策略，具体如下：

1. 当数据来源为ClickHouse、DB2、DDB(DBI)、DDB(QS)、DM、HANA、Maxcompute、MySQL、Oracle、Phoenix、PostgreSQL、SQLServer、TiDB、Vertica时，针对来源表新增字段的情况，支持配置任务策略：忽略新增字段、任务报错。
2. 当数据来源为ClickHouse、DB2、DDB(DBI)、DDB(QS)、DM、HANA、Maxcompute、MySQL、Oracle、Phoenix、PostgreSQL、SQLServer、TiDB、Vertica，且数据去向为本项目本集群的Hive数据源时，针对来源表新增字段的情况，支持配置任务策略：忽略新增字段、任务报错、去向表字段新增该字段，建立映射并同步数据。
3. 去向表字段新增该字段、建立映射并同步数据使用项目keytab执行SQL语句。
4. 若此处不配置任务策略，默认忽略新增字段。

脏数据管理

当数据去向为Hive（集群内Hive，不支持外部登记的Hive数据源）时，支持脏数据管理功能。此处可识别的脏数据为来源端和去向端的数据类型不匹配且不支持转换的数据，这些数据会被赋值为null，从而被认定为脏数据。
脏数据管理支持脏数据保存和脏数据容忍两个功能。脏数据保存支持用户设置脏数据的保存位置，当前支持存入Hive表或MySQL表。如果当前创建离线同步任务的用户有对应数据库的建表权限，则可在页面一键生成脏数据表。

• 脏数据存放在Hive当中时，其表结构如下：

  字段名称	字段类型	字段内容	含义
  flow_node	string	引用任务的离线开发任务名称和离线同步节点名称	引用该传输任务的离线开发任务名称（azkaban.flow.alias.flowid）和离线同步节点名称（job.id），任务名称和节点名称之间以“:”分割，如：flowname:nodename。如在传输试运行任务，则分区值为：trial operation
  record	string	错误记录	展示该运行记录即可，按照json格式，如：{"ID":"2018903","Name":"张三"}
  category	string	错误分类	分类项：空指针、主键或唯一键冲突、类型转换失败、其他
  msg	string	错误信息	系统错误信息
  一级分区：time	string	任务执行时间	任务执行时间，格式如：2021-08-01 01:01:01
  二级分区：execid	int	实例ID	任务实例的id（execid）

• 脏数据存放在MySQL当中时，其表结构如下：

  字段名称	字段类型	字段内容	含义
  execid	int	实例ID	任务实例的id（execid）
  flow_job	string	引用任务的离线开发任务名称和离线同步节点名称	引用该传输任务的离线开发任务名称（azkaban.flow.alias.flowid）和离线同步节点名称（job.id），任务名称和节点名称之间以“:”分割，如：flowname:nodename。如在传输试运行任务，则分区值为：trial operation
  time	string	任务执行时间	任务执行时间，格式：YYYY-MM-DD HH:MM:SS，如：2021-08-01 01:01:01
  record	string	错误记录	展示该运行记录即可，按照json格式，如：{"ID":"2018903","Name":"张三"}
  category	string	错误分类	分类项：空指针、主键或唯一键冲突、类型转换失败、其他
  msg	string	错误信息	系统错误信息

当关闭脏数据容忍时，支持用户配置脏数据容忍条数以及脏数据占比，当脏数据超过设定条数或脏数据占比大于设定值（占比统计在任务执行结束后）时，任务报错并置为失败；当数值设置为0时，表示不允许存在脏数据。当数据去向为Hive时，默认允许脏数据。

在运行日志中可查看脏数据条数：

数据脱敏

数据传输支持静态脱敏，支持敏感字段自动识别，也支持手动添加敏感字段（脱敏规则详情请见脱敏规则）。

• 扫描配置
  如果不确定表的敏感字段有哪些，支持通过扫描来源表确定来源表的敏感字段。支持选择脱敏规则，输入扫描条数、扫描匹配率，并选择扫描执行队列。脱敏规则选取脱敏规则后，扫描来源表字段时将基于脱敏规则对应的敏感类型进行扫描。扫描条数指的是根据指定的扫描条数抽取来源表字段进行扫描，如果填写的扫描条数＞数据来源端读取总条数，则扫描条数取数据来源端读取总条数。识别对象为字段内容等，在进行数据扫描时，如果字段的内容被识别为敏感类型的比率≥扫描匹配率，则该字段被识别为敏感字段。执行队列为扫描任务执行使用的队列资源。
  

如果已经知道表中的敏感字段是哪些，可直接通过“添加”按钮进行添加，需要配置“来源表字段”和“脱敏规则名称”。

断点续传

断点续传功能支持数据来源为关系型数据库，去向为Hive时的场景。

如果打开断点续传开关，会记录失败实例中执行成功的子任务，重新执行实例时仅重新执行剩余的子任务，不再执行已执行成功的子任务。开关打开后在以下两个场景生效：

1.离线开发任务的数据同步节点如开启自动重试，则节点失败自动重试时会重新执行剩余的子任务，直至实例运行成功或达成指定重试次数为止；
2.针对调度运行失败的实例，重跑实例时会重新执行剩余的子任务。如实例重跑时仍运行失败，则会记录本次成功的子任务，再次重跑实例时仅重新执行剩余的子任务，不再执行历次重跑实例时已执行成功的子任务。

任务参数

此处支持同步条数限制和自定义参数设置。限制同步条数指的是每次运行任务时同步的条数上限，未填写表示没有限制。
包含作业参数、数据来源与数据去向对应的源端参数与目标端参数。具体参数详见高级设置参数。