准备工作

本章主要通过维表 Join 的案例的准备工作来介绍如何进行数据源登记和流表创建。 为实现维表 Join,我们首先需要创建本地 MySQL 表。

创建维表和输出表

本案例需在本地 MySQL 数据库(数据库名:poc)中创建好两张表,一张是名为 goods_info 的维表,一张是名为 goods_join_mysql_sink 的输出表。建表语句如下:

  1. ---维表DDL
  2. CREATE TABLE `goods_info` (
  3. `itemID` varchar(100) NOT NULL,
  4. `itemName` varchar(100) DEFAULT NULL,
  5. PRIMARY KEY (`itemID`)
  6. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
  7. ---输出表DDL
  8. CREATE TABLE `goods_join_mysql_sink` (
  9. `itemID` varchar(100) DEFAULT NULL,
  10. `itemType` varchar(100) DEFAULT NULL,
  11. `onSellTime` timestamp NULL DEFAULT NULL,
  12. `price` double DEFAULT NULL,
  13. `id` int(11) NOT NULL AUTO_INCREMENT,
  14. `onSellTimeOrigin` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00',
  15. `itemName` varchar(100) DEFAULT NULL,
  16. `maxPrice` double DEFAULT NULL,
  17. PRIMARY KEY (`id`)
  18. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

登记数据源

本案例需要在数仓页面登记两个数据源,一个 Kafka,一个 MySQL,同时在数仓流表管理的页面创建一张流表,数据源登记和流表登记的详细说明请参见 数仓管理 章节。

登记 Kafka 数据源

入口:数仓 - 数据源管理 - 登记数据源

数据源类型选择 kafka,在配置中填入 Broker 地址。

新建Kafka数据源

登记 MySQL 数据源

入口:数仓 - 数据源管理 - 登记数据源 数据源类型选择 MySQL,在配置中填入密码、用户名和访问地址。

新建MySQL数据源

其他类型的数据源登记请参考数据源登记章节。

登记流表

登记流表需要先新建一个数据库。

新建数据库入口:数仓→流表管理→数据库右上角。

新建数据库

创建完数据库后需要等待管理员审核,在流程与写作中心可以查看审核进度。审核通过之后,就可以在这个库下面新建流表,其中流表的topic需要在登记的kafka中创建好。关于新建数据库的更多信息请参考 新建数据库 章节。

新建数据库成功后就可以开始新建流表。

新建流表入口:数仓→流表管理→选择数据库后在页面右上角点击新建流表。关于新建流表的更多信息请参考 新建流表 章节。

新建流表

流表创建完成后就可以在 SQL 任务和 Notebook 任务中通过 [数据源.]数据库.表 三元组的方式直接使用,无需通过 DDL 方式调用。