创建离线同步任务
扫码
复制
导出离线同步任务配置
客户表离线同步任务
新建任务之前，需事先确认实验准备中的数据导入工作已完成。
步骤一：在【数据传输】-【离线同步任务】页面，点击“新建任务”进入新建页面。
步骤二：配置【基本信息】，根据实际情况配置任务名称、任务模式等。
| 配置项 | 内容 |
|---|---|
| 任务名称 | mysql2hive_ods_cus_info_df |
| 任务模式 | 向导模式 |
| 负责人 | 默认 |
| 引用参数组 | - |
| 描述 | - |
步骤三：配置【数据来源与去向】，分别配置来源与去向。
- 数据来源
- 数据去向
当去向表没有创建时，可通过【快速创建表】进行创建。
在弹出的对话框中，输入表名称，此处“是否分区表”设置为【分区表】，点击“生成SQL语句”按钮自动生成建表语句。
配置完成后，点击“执行”按钮进行语句的下发。
在数据去向配置分区参数
- 字段映射
此处系统会默认进行【同名映射】，如果发现映射有问题，也可以通过【同行映射】或者手动调节。
- 高级配置
点击“数据脱敏”配置静态脱敏。
点击“扫描”，对敏感数据进行脱敏。
选择和填写如下信息，并点击“扫描”，会对带传输数据进行初步扫描匹配敏感字段
获得如下扫描结果
步骤四：点击“保存并提交”按钮完成用户表离线同步任务的配置。
订单表离线同步任务
配置全量传输
新建任务之前，需事先确认实验准备中的数据导入工作已完成。
步骤一：在【数据传输】-【离线同步任务】页面，点击“新建任务”进入新建页面。
步骤二：配置【基本信息】，根据实际情况配置任务名称、任务模式等。
| 配置项 | 内容 |
|---|---|
| 任务名称 | mysql2hive_ods_order_info_df |
| 任务模式 | 向导模式 |
| 负责人 | 默认 |
| 引用参数组 | - |
| 描述 | - |
步骤三：配置【数据来源与去向】，分别配置来源与去向。
- 数据来源
- 数据去向
当去向表没有创建时，可通过【快速创建表】进行创建。
在弹出的对话框中，输入表名称，此处“是否分区表”设置为【分区表】，点击“生成SQL语句”按钮自动生成建表语句,修改【amount】字段的decimal精度。
配置完成后，点击“执行”按钮进行语句的下发。
在数据去向配置分区参数
- 字段映射
此处系统会默认进行【同名映射】，如果发现映射有问题，也可以通过【同行映射】或者手动调节。
- 高级配置
此案例中无特殊项设置，可使用默认配置项。
步骤四：点击“保存并提交”按钮完成订单表全量离线同步任务的配置。
配置增量传输
新建任务之前，需事先确认实验准备中的数据导入工作已完成。
步骤一：在【数据传输】-【离线同步任务】页面，点击“新建任务”进入新建页面。
步骤二：配置【基本信息】，根据实际情况配置任务名称、任务模式等。
| 配置项 | 内容 |
|---|---|
| 任务名称 | mysql2hive_ods_order_info_di |
| 任务模式 | 向导模式 |
| 负责人 | 默认 |
| 引用参数组 | - |
| 描述 | - |
步骤三：配置【数据来源与去向】，分别配置来源与去向。
- 数据来源
配置条件
- 数据去向
当去向表没有创建时，可通过【快速创建表】进行创建。
在弹出的对话框中，输入表名称，此处“是否分区表”设置为【分区表】，点击“生成SQL语句”按钮自动生成建表语句,修改【amount】字段的decimal精度。
配置完成后，点击“执行”按钮进行语句的下发。
在数据去向配置分区参数
- 字段映射
此处系统会默认进行【同名映射】，如果发现映射有问题，也可以通过【同行映射】或者手动调节。
- 高级配置
此案例中无特殊项设置，可使用默认配置项。
步骤四：点击“保存并提交”按钮完成订单表增量离线同步任务的配置。
商品表离线同步任务
新建任务之前，需事先确认实验准备中的数据导入工作已完成。
步骤一：在【数据传输】-【离线同步任务】页面，点击“新建任务”进入新建页面。
步骤二：配置【基本信息】，根据实际情况配置任务名称、任务模式等。
| 配置项 | 内容 |
|---|---|
| 任务名称 | mysql2hive_ods_item_info_df |
| 任务模式 | 向导模式 |
| 负责人 | 默认 |
| 引用参数组 | - |
| 描述 | - |
步骤三：配置【数据来源与去向】，分别配置来源与去向。
- 数据来源
- 数据去向
当去向表没有创建时，可通过【快速创建表】进行创建。
在弹出的对话框中，输入表名称，此处“是否分区表”设置为【分区表】，点击“生成SQL语句”按钮自动生成建表语句。
配置完成后，点击“执行”按钮进行语句的下发。
在数据去向配置分区参数
- 字段映射
此处系统会默认进行【同名映射】，如果发现映射有问题，也可以通过【同行映射】或者手动调节。
- 高级配置
此案例中无特殊项设置，可使用默认配置项。
步骤四：点击“保存并提交”按钮完成商品表离线同步任务的配置。
创建离线开发任务
创建完成离线同步任务后，需要在【离线开发】中创建对应的离线开发任务，建议在【离线开发】中先完成任务文件夹的创建用于存放离线同步任务。
步骤一：从左侧导航栏选择【开发运维】-【离线开发】进入离线开发页面。
步骤二：点击“新建文件夹”选项，创建文件夹。
步骤三：输入文件夹名称，选择根目录进行保存。
步骤四：右键点击已创建的文件夹，选择新建文件夹，创建子文件夹。
步骤五：输入文件夹名称，选择刚创建好的文件夹作为保存位置。
步骤六：右击ods文件夹，新建任务。
步骤七：离线开发任务名称为mysql2hive_ods_item_info_df，点击确定。
步骤八：拖动离线同步节点与虚拟节点连接，并双击离线同步节点选择与任务名称相对应的数据传输任务。
步骤九：点击临时保存后，全选任务，点击“运行”进行测试。
步骤十：在弹出的对话框中，使用默认配置点击“运行”即可。
步骤十一：运行成功后，任务显示测试通过标记，此时可配置定时调度。
步骤十二：在弹窗中将【调度开启】功能打开，其余配置项可保持默认不变。
步骤十三：确认无误后，点击“保存并提交全部”按钮完成提交。
此时在线上模式就能看到相关任务信息了。
步骤十七：重复步骤一到十三，分别创建mysql2hive_ods_cus_info_df、
mysql2hive_ods_order_info_di、mysql2hive_ods_order_info_df的离线任务。
以上内容对您是否有帮助？