创建离线同步任务
离线同步任务配置
客户表离线同步任务
新建任务之前,需事先确认实验准备中的数据导入工作已完成。
步骤一:在【数据传输】-【离线同步任务】页面,点击“新建任务”进入新建页面。
步骤二:配置【基本信息】,根据实际情况配置任务名称、任务模式等。
配置项 | 内容 |
---|---|
任务名称 | mysql2hive_ods_cus_info_df |
任务模式 | 向导模式 |
负责人 | 默认 |
引用参数组 | - |
描述 | - |
步骤三:配置【数据来源与去向】,分别配置来源与去向。
- 数据来源
- 数据去向
当去向表没有创建时,可通过【快速创建表】进行创建。
在弹出的对话框中,输入表名称,此处“是否分区表”设置为【分区表】,点击“生成SQL语句”按钮自动生成建表语句。
配置完成后,点击“执行”按钮进行语句的下发。
在数据去向配置分区参数
- 字段映射
此处系统会默认进行【同名映射】,如果发现映射有问题,也可以通过【同行映射】或者手动调节。
- 高级配置
点击“数据脱敏”配置静态脱敏。
点击“扫描”,对敏感数据进行脱敏。
选择和填写如下信息,并点击“扫描”,会对带传输数据进行初步扫描匹配敏感字段
获得如下扫描结果
步骤四:点击“保存并提交”按钮完成用户表离线同步任务的配置。
订单表离线同步任务
配置全量传输
新建任务之前,需事先确认实验准备中的数据导入工作已完成。
步骤一:在【数据传输】-【离线同步任务】页面,点击“新建任务”进入新建页面。
步骤二:配置【基本信息】,根据实际情况配置任务名称、任务模式等。
配置项 | 内容 |
---|---|
任务名称 | mysql2hive_ods_order_info_df |
任务模式 | 向导模式 |
负责人 | 默认 |
引用参数组 | - |
描述 | - |
步骤三:配置【数据来源与去向】,分别配置来源与去向。
- 数据来源
- 数据去向
当去向表没有创建时,可通过【快速创建表】进行创建。
在弹出的对话框中,输入表名称,此处“是否分区表”设置为【分区表】,点击“生成SQL语句”按钮自动生成建表语句,修改【amount】字段的decimal精度。
配置完成后,点击“执行”按钮进行语句的下发。
在数据去向配置分区参数
- 字段映射
此处系统会默认进行【同名映射】,如果发现映射有问题,也可以通过【同行映射】或者手动调节。
- 高级配置
此案例中无特殊项设置,可使用默认配置项。
步骤四:点击“保存并提交”按钮完成订单表全量离线同步任务的配置。
配置增量传输
新建任务之前,需事先确认实验准备中的数据导入工作已完成。
步骤一:在【数据传输】-【离线同步任务】页面,点击“新建任务”进入新建页面。
步骤二:配置【基本信息】,根据实际情况配置任务名称、任务模式等。
配置项 | 内容 |
---|---|
任务名称 | mysql2hive_ods_order_info_di |
任务模式 | 向导模式 |
负责人 | 默认 |
引用参数组 | - |
描述 | - |
步骤三:配置【数据来源与去向】,分别配置来源与去向。
- 数据来源
配置条件
- 数据去向
当去向表没有创建时,可通过【快速创建表】进行创建。
在弹出的对话框中,输入表名称,此处“是否分区表”设置为【分区表】,点击“生成SQL语句”按钮自动生成建表语句,修改【amount】字段的decimal精度。
配置完成后,点击“执行”按钮进行语句的下发。
在数据去向配置分区参数
- 字段映射
此处系统会默认进行【同名映射】,如果发现映射有问题,也可以通过【同行映射】或者手动调节。
- 高级配置
此案例中无特殊项设置,可使用默认配置项。
步骤四:点击“保存并提交”按钮完成订单表增量离线同步任务的配置。
商品表离线同步任务
新建任务之前,需事先确认实验准备中的数据导入工作已完成。
步骤一:在【数据传输】-【离线同步任务】页面,点击“新建任务”进入新建页面。
步骤二:配置【基本信息】,根据实际情况配置任务名称、任务模式等。
配置项 | 内容 |
---|---|
任务名称 | mysql2hive_ods_item_info_df |
任务模式 | 向导模式 |
负责人 | 默认 |
引用参数组 | - |
描述 | - |
步骤三:配置【数据来源与去向】,分别配置来源与去向。
- 数据来源
- 数据去向
当去向表没有创建时,可通过【快速创建表】进行创建。
在弹出的对话框中,输入表名称,此处“是否分区表”设置为【分区表】,点击“生成SQL语句”按钮自动生成建表语句。
配置完成后,点击“执行”按钮进行语句的下发。
在数据去向配置分区参数
- 字段映射
此处系统会默认进行【同名映射】,如果发现映射有问题,也可以通过【同行映射】或者手动调节。
- 高级配置
此案例中无特殊项设置,可使用默认配置项。
步骤四:点击“保存并提交”按钮完成商品表离线同步任务的配置。
创建离线开发任务
创建完成离线同步任务后,需要在【离线开发】中创建对应的离线开发任务,建议在【离线开发】中先完成任务文件夹的创建用于存放离线同步任务。
步骤一:从左侧导航栏选择【开发运维】-【离线开发】进入离线开发页面。
步骤二:点击“新建文件夹”选项,创建文件夹。
步骤三:输入文件夹名称,选择根目录进行保存。
步骤四:右键点击已创建的文件夹,选择新建文件夹,创建子文件夹。
步骤五:输入文件夹名称,选择刚创建好的文件夹作为保存位置。
步骤六:右击ods文件夹,新建任务。
步骤七:离线开发任务名称为mysql2hive_ods_item_info_df,点击确定。
步骤八:拖动离线同步节点与虚拟节点连接,并双击离线同步节点选择与任务名称相对应的数据传输任务。
步骤九:点击临时保存后,全选任务,点击“设置并运行”进行测试。
步骤十:在弹出的对话框中,使用默认配置点击“运行”即可。
步骤十一:运行成功后,任务显示测试通过标记,此时可全选任务进行提交上线操作。
步骤十二:在弹出的对话框中输入备注信息,并点击“提交上线”按钮完成提交。
步骤十三:提交上线后的任务可在【线上模式】进行操作,点击编辑调度按钮进行调度编辑。
步骤十四:选择“全部开启”,点击“设置并提交调度”。
步骤十五:此时调度配置页面可以暂时选择默认配置,点击“提交工单”即可,后续可根据业务规划再重新调整调度等内容的设置。
步骤十六:在弹框中,点击“提交调度”按钮完成调度的配置。
步骤十七:重复步骤一到十六,分别创建mysql2hive_ods_cus_info_df、
mysql2hive_ods_order_info_di、mysql2hive_ods_order_info_df的离线任务。
以上内容对您是否有帮助?