产品特点

Web IDE

强大的 IDE 功能,支持用户使用代码、SQL等多种方式开发实时计算任务,依托于成熟的版本管理功能,实现任务历史版本可视化对比,快速回退,提供数据上传调试和在线调试两种方案,快速验证任务正确性。

统一元数据

与离线数仓共享元数据中心,使用统一数据模型抽象流表和批表,实现元数据流批一体和任务间模型复用,用户无需构造 DDL,专注于核心业务流程,极大提升效能,基于统一元数据提供了全链路血缘。

多数据源适配

支持主流消息队列:包含 kafka、RocketMQ 等;支持各种异构数据源类型,包括 HDFS、Hive、hbase、kudu、Redis、es、tsdb、MySQL、Oracle 等。

全周期报警监控

提供任务 QPS、Checkpoint、反压、数据延迟、滞留、进程资源等多种维度的指标监控,提供丰富的自定义报警配置,基于任务全生命周期的事件和指标监控,构造任务大盘,提供汇总指标。

实时数据湖

存储流批一体,流表和批表共享数据湖存储,流批一体表既可跑离线任务,也支持实时计算任务,基于存储流批一体,探索计算流批一体方案,支持 Flink,Spark 在流批场景下的统一应用。

实时传输(开发中,敬请期待)

通过数据库自动入湖和流批一体技术,为业务数据库无感知地构造镜像实时数仓,开发任务时像访问数据库一样访问数据仓库,提供库仓一体化体验,免除复杂的数据库 etl 操作和鉴权流程,极大提升效能。

湖仓一体(开发中,敬请期待)

基于 Hive 和流批一体技术支持 upsert,做到分钟级数据延迟,兼容 parquet、orc 等高性能列存格式,将 95% 以上的数仓 AP 场景保留在数据湖中,避免引入 Kudu,Clickhouse,Greenplum 等数据孤岛。

任务智能诊断(开发中,敬请期待)

通过任务全生命周期的事件和指标监控,基于启发式的任务诊断规则,自动识别异常任务,对任务异常提供处理建议,降低任务运维难度,提升整体效能。