DEMO-HTTP Trigger MR任务使用

适用模块

离线开发

具体说明

使用HTTP Trigger MR任务调用阿里云HTTP触发器节点

使用示例

1、HTTP Trigger MR任务使用
任务参数说明
任务包含如下参数。
# 阿里dataworks空间管理员的ak，例如 LTAI5t5cC9MzhyVQ3Gui5ke4
aliyun.accessKeyId
# 阿里dataworks空间管理员的sk，例如 bhV9W1eRkIFdZEnP9IUtetSJ0LFGXz
aliyun.accessKeySecret
# 阿里dataworks服务的地址，例如 dataworks.cn-hangzhou.aliyuncs.com
aliyun.endpoint
# 阿里dataworks空间的projectId， 例如 36405
aliyun.projectId

############ 上述四个基本通用，可以放到参数组中

############ 下面三个和具体的节点、触发时间相关，需要放到节点参数中

# 阿里dataworks空间中需要触发的节点id， 例如 1002453650
aliyun.nodeId

# 触发模式，包括 DAY、HOUR
# DAY 模式，表示触发当前猛犸任务调度时间的 “年 月 日” + 下面的触发时间（小时:分钟）
# HOUR 模式，表示触发当前猛犸任务调度时间的 “年 月 日 小时” + 下面的触发时间(分钟)
aliyun.offsetMode

# 触发时间
# DAY 模式为HH:mm，例如 “00:10, 10:10”，表示当天的 0点10分、10点10分，多个时间逗号分隔
# HOUR 模式为mm，例如 “00,10,20”，表示当前小时的 第0分钟、第10分钟、第20分钟，多个时间逗号分隔
aliyun.cycleTime

2、使用样例
Dataworks相关配置
阿里云dataworks上创建trigger节点，并记录projectId和nodeId。
projectId获取
进入工作空间管理。

Trigger节点配置及nodeId获取
配置trigger节点调度的时候可以看到。

节点创建完成后，需要保存 -> 提交 -> 发布，才能在第二天生成实例。

3、猛犸相关配置
新建资源组并提交上线
资源组需要添加trigger的jar包。见附件。

新建参数组。
并增加如下参数。
# trigger jar的共享路径
aliyun.accessKeyId=LTAI5t5cC9MzhyVQ3Gui5ke4
aliyun.accessKeySecret=bhV9W1eRkIFdZEnP9IUtetSJ0LFGXz
aliyun.endpoint=dataworks.cn-hangzhou.aliyuncs.com
aliyun.projectId=36405
注：aliyun.endpoint一定要用dataworks相关地址

创建trigger任务
并引用资源组和参数组。

任务中创建一个MR节点并进行配置。
job.class 需要配置成com.netease.HTTPTrigger。
aliyun.nodeId根据上面获取的配置。
aliyun.offsetMode、aliyun.cycleTime根据具体需求配置。参见上面的任务参数说明。

然后，保存节点 -> 保存工作流 -> 提交上线 -> 配置调度。

获取资源组的路径并添加到参数组中
点击资源及配置 -> 资源组 -> 对应的资源组中点复制路径。

把上述获取到的路径 + jar包名称当作value，global.classpaths当作key，写入到参数组中并保存。例如：
global.classpaths=${mammut.shareresource.ce2e9af9_74e3_4cf8_bf4f_99294fddb86e}/http-trigger-1.0.jar
等待任务运行触发相应的dataworks trigger即可。
暂时无法在文档外展示此内容

作者：林帅