创建任务


在任务页面新建一个 SQL 任务,具体方法请参考 新建任务 章节。

新建任务

编写业务逻辑


--SQL
--********************************************************************--
--Author: admin
--CreateTime: 2021-06-28 15:23:47
--Comment: Mysql维表Join
-- 源表:一张商品上架表,包含有商品ID、商品类型、商品上架时间、商品价格数据。
-- 维表:商品信息表, 包含商品ID, 商品名称
-- 输出表:输出源表所有的内容,并加上源表和维表通过商品ID进行关联后得到的商品名称
--********************************************************************--
set
  'goods.connections.group.id' = 'mysql_join_example';
  --设置Kafka消费者组id
set
  'goods.connector.startup-mode' = 'latest-offset';
  --设置读取消息队列的位置
set
  'goods_join_mysql_sink.connector.write.flush.max-rows' = '1';
  --设置写入数据缓存量为1行,此行为非必设参数
create view v1 as
select
  PROCTIME() as proctime,
  itemID,
  itemType,
  onSellTime,
  price
from
  poc.goods;
insert into
  `poc_mysql`.`poc`.`goods_join_mysql_sink`
select
  v1.itemID,
  v1.itemType,
  v1.onSellTime,
  v1.price,
  goods_info.itemName as itemName
from
  v1 left join `poc_mysql`.`poc`.`goods_info` FOR SYSTEM_TIME AS of v1.proctime on v1.itemID = goods_info.itemID;

设置运行配置


进入 运维 页面,在对应任务的操作栏中选择 配置 并点击。 数据开发 - 图2

配置好参数之后,就可以点击启动按钮,任务将根据配置内容提交到 YARN 集群上运行。