数据开发

创建任务

在任务页面新建一个 SQL 任务，具体方法请参考 新建任务 章节。

编写业务逻辑

--SQL
--********************************************************************--
--Author: admin
--CreateTime: 2021-06-28 15:23:47
--Comment: Mysql维表Join
-- 源表：一张商品上架表，包含有商品ID、商品类型、商品上架时间、商品价格数据。
-- 维表：商品信息表， 包含商品ID, 商品名称
-- 输出表：输出源表所有的内容，并加上源表和维表通过商品ID进行关联后得到的商品名称
--********************************************************************--
set
  'goods.connections.group.id' = 'mysql_join_example';
  --设置Kafka消费者组id
set
  'goods.connector.startup-mode' = 'latest-offset';
  --设置读取消息队列的位置
set
  'goods_join_mysql_sink.connector.write.flush.max-rows' = '1';
  --设置写入数据缓存量为1行，此行为非必设参数
create view v1 as
select
  PROCTIME() as proctime,
  itemID,
  itemType,
  onSellTime,
  price
from
  poc.goods;
insert into
  `poc_mysql`.`poc`.`goods_join_mysql_sink`
select
  v1.itemID,
  v1.itemType,
  v1.onSellTime,
  v1.price,
  goods_info.itemName as itemName
from
  v1 left join `poc_mysql`.`poc`.`goods_info` FOR SYSTEM_TIME AS of v1.proctime on v1.itemID = goods_info.itemID;

设置运行配置

在任务页面右侧可进行运行配置，如果不设置，系统会按照默认值运行。

配置好参数之后，就可以点击启动按钮将任务提交到 YARN 集群上运行了。