产品特点
更新时间: 2021-08-26 20:42:29
阅读 1155
产品特点
Web IDE
强大的 IDE 功能,支持用户使用代码、SQL等多种方式开发实时计算任务,依托于成熟的版本管理功能,实现任务历史版本可视化对比,快速回退,提供数据上传调试和在线调试两种方案,快速验证任务正确性。
统一元数据
与离线数仓共享元数据中心,使用统一数据模型抽象流表和批表,实现元数据流批一体和任务间模型复用,用户无需构造 DDL,专注于核心业务流程,极大提升效能,基于统一元数据提供了全链路血缘。
多数据源适配
支持主流消息队列:包含 kafka、RocketMQ 等;支持各种异构数据源类型,包括 HDFS、Hive、hbase、kudu、Redis、es、tsdb、MySQL、Oracle 等。
全周期报警监控
提供任务 QPS、Checkpoint、反压、数据延迟、滞留、进程资源等多种维度的指标监控,提供丰富的自定义报警配置,基于任务全生命周期的事件和指标监控,构造任务大盘,提供汇总指标。
实时数据湖
存储流批一体,流表和批表共享数据湖存储,流批一体表既可跑离线任务,也支持实时计算任务,基于存储流批一体,探索计算流批一体方案,支持 Flink,Spark 在流批场景下的统一应用。
实时传输(开发中,敬请期待)
通过数据库自动入湖和流批一体技术,为业务数据库无感知地构造镜像实时数仓,开发任务时像访问数据库一样访问数据仓库,提供库仓一体化体验,免除复杂的数据库 etl 操作和鉴权流程,极大提升效能。
湖仓一体(开发中,敬请期待)
基于 Hive 和流批一体技术支持 upsert,做到分钟级数据延迟,兼容 parquet、orc 等高性能列存格式,将 95% 以上的数仓 AP 场景保留在数据湖中,避免引入 Kudu,Clickhouse,Greenplum 等数据孤岛。
任务智能诊断(开发中,敬请期待)
通过任务全生命周期的事件和指标监控,基于启发式的任务诊断规则,自动识别异常任务,对任务异常提供处理建议,降低任务运维难度,提升整体效能。
文档反馈
以上内容对您是否有帮助?