离线同步任务配置

客户表离线同步任务

新建任务之前，需事先确认实验准备中的数据导入工作已完成。

步骤一：在【数据传输】-【离线同步任务】页面，点击“新建任务”进入新建页面。

tr1.png

步骤二：配置【基本信息】，根据实际情况配置任务名称、任务模式等。

tr2.png

配置项 内容
任务名称 mysql2hive_ods_cus_info_df
任务模式 向导模式
负责人 默认
引用参数组 -
描述 -

步骤三：配置【数据来源与去向】，分别配置来源与去向。

  • 数据来源

tr3.png

  • 数据去向

当去向表没有创建时，可通过【快速创建表】进行创建。

tr4.png

在弹出的对话框中，输入表名称，此处“是否分区表”设置为【分区表】，点击“生成SQL语句”按钮自动生成建表语句。

tr5.png

配置完成后，点击“执行”按钮进行语句的下发。

在数据去向配置分区参数

tr6.png

  • 字段映射

此处系统会默认进行【同名映射】，如果发现映射有问题，也可以通过【同行映射】或者手动调节。

tr7.png

  • 高级配置

点击“数据脱敏”配置静态脱敏。

tr8.png

点击“扫描”，对敏感数据进行脱敏。

tr9.png

选择和填写如下信息，并点击“扫描”，会对带传输数据进行初步扫描匹配敏感字段

tr10.png

获得如下扫描结果

tr11.png

步骤四：点击“保存并提交”按钮完成用户表离线同步任务的配置。

tr12.png

订单表离线同步任务

配置全量传输

新建任务之前，需事先确认实验准备中的数据导入工作已完成。

步骤一：在【数据传输】-【离线同步任务】页面，点击“新建任务”进入新建页面。

tr2.1.png

步骤二：配置【基本信息】，根据实际情况配置任务名称、任务模式等。

tr2.2.png

配置项 内容
任务名称 mysql2hive_ods_order_info_df
任务模式 向导模式
负责人 默认
引用参数组 -
描述 -

步骤三：配置【数据来源与去向】，分别配置来源与去向。

  • 数据来源

tr2.3.png

  • 数据去向

tr2.4.png

当去向表没有创建时，可通过【快速创建表】进行创建。

在弹出的对话框中，输入表名称，此处“是否分区表”设置为【分区表】，点击“生成SQL语句”按钮自动生成建表语句,修改【amount】字段的decimal精度。

tr2.5.png

配置完成后，点击“执行”按钮进行语句的下发。

在数据去向配置分区参数

tr2.6.png

  • 字段映射

此处系统会默认进行【同名映射】，如果发现映射有问题，也可以通过【同行映射】或者手动调节。

tr2.7.png

  • 高级配置

此案例中无特殊项设置，可使用默认配置项。

tr2.8.png

步骤四：点击“保存并提交”按钮完成订单表全量离线同步任务的配置。

tr2.9.png

配置增量传输

新建任务之前，需事先确认实验准备中的数据导入工作已完成。

步骤一：在【数据传输】-【离线同步任务】页面，点击“新建任务”进入新建页面。

tr2.10.png

步骤二：配置【基本信息】，根据实际情况配置任务名称、任务模式等。

tr2.12.png

配置项 内容
任务名称 mysql2hive_ods_order_info_di
任务模式 向导模式
负责人 默认
引用参数组 -
描述 -

步骤三：配置【数据来源与去向】，分别配置来源与去向。

  • 数据来源
    配置条件

tr2.13.png

  • 数据去向

当去向表没有创建时，可通过【快速创建表】进行创建。

tr2.14.png

在弹出的对话框中，输入表名称，此处“是否分区表”设置为【分区表】，点击“生成SQL语句”按钮自动生成建表语句,修改【amount】字段的decimal精度。

tr2.15.png

配置完成后，点击“执行”按钮进行语句的下发。

在数据去向配置分区参数

tr2.16.png

  • 字段映射

此处系统会默认进行【同名映射】，如果发现映射有问题，也可以通过【同行映射】或者手动调节。

tr2.17.png

  • 高级配置

此案例中无特殊项设置，可使用默认配置项。

tr2.18.png

步骤四：点击“保存并提交”按钮完成订单表增量离线同步任务的配置。

tr2.19.png

商品表离线同步任务

新建任务之前，需事先确认实验准备中的数据导入工作已完成。

步骤一：在【数据传输】-【离线同步任务】页面，点击“新建任务”进入新建页面。

tr3.1.png

步骤二：配置【基本信息】，根据实际情况配置任务名称、任务模式等。

tr3.2.png

配置项 内容
任务名称 mysql2hive_ods_item_info_df
任务模式 向导模式
负责人 默认
引用参数组 -
描述 -

步骤三：配置【数据来源与去向】，分别配置来源与去向。

  • 数据来源

tr3.3.png

  • 数据去向

当去向表没有创建时，可通过【快速创建表】进行创建。

tr3.4.png

在弹出的对话框中，输入表名称，此处“是否分区表”设置为【分区表】，点击“生成SQL语句”按钮自动生成建表语句。

tr3.5.png

配置完成后，点击“执行”按钮进行语句的下发。

在数据去向配置分区参数

tr3.6.png

  • 字段映射

此处系统会默认进行【同名映射】，如果发现映射有问题，也可以通过【同行映射】或者手动调节。

tr3.7.png

  • 高级配置

此案例中无特殊项设置，可使用默认配置项。

tr3.8.png

步骤四：点击“保存并提交”按钮完成商品表离线同步任务的配置。

tr3.9.png

创建离线开发任务

创建完成离线同步任务后，需要在【离线开发】中创建对应的离线开发任务，建议在【离线开发】中先完成任务文件夹的创建用于存放离线同步任务。

步骤一：从左侧导航栏选择【开发运维】-【离线开发】进入离线开发页面。

tr3.10.png

步骤二：点击“新建文件夹”选项，创建文件夹。

tr3.11.png

步骤三：输入文件夹名称，选择根目录进行保存。

tr3.12.png

步骤四：右键点击已创建的文件夹，选择新建文件夹，创建子文件夹。

tr3.13.png

步骤五：输入文件夹名称，选择刚创建好的文件夹作为保存位置。

tr3.14.png

步骤六：右击ods文件夹，新建任务。

tr3.15.png

步骤七：离线开发任务名称为mysql2hive_ods_item_info_df，点击确定。

tr3.16.png

步骤八：拖动离线同步节点与虚拟节点连接，并双击离线同步节点选择与任务名称相对应的数据传输任务。

tr3.17.png

步骤九：点击临时保存后，全选任务，点击“设置并运行”进行测试。

tr3.18.png

步骤十：在弹出的对话框中，使用默认配置点击“运行”即可。

tr3.19.png

步骤十一：运行成功后，任务显示测试通过标记，此时可全选任务进行提交上线操作。

tr3.20.png

步骤十二：在弹出的对话框中输入备注信息，并点击“提交上线”按钮完成提交。

tr3.21.png

步骤十三：提交上线后的任务可在【线上模式】进行操作，点击编辑调度按钮进行调度编辑。

tr3.22.png

步骤十四：选择“全部开启”，点击“设置并提交调度”。

tr3.23.png

步骤十五：此时调度配置页面可以暂时选择默认配置，点击“提交工单”即可，后续可根据业务规划再重新调整调度等内容的设置。

tr3.24.png

步骤十六：在弹框中，点击“提交调度”按钮完成调度的配置。

tr3.25.png

步骤十七：重复步骤一到十六，分别创建mysql2hive_ods_cus_info_df、

mysql2hive_ods_order_info_di、mysql2hive_ods_order_info_df的离线任务。