产品简介

实时开发（Easystream）是基于 Apache Flink 构建的高性能、一站式实时大数据处理平台，广泛适用于流式数据处理场景，通过标准 SQL 服务和更高级的代码定制服务，提供低门槛，专业化的实时开发 IDE。

产品特点

全链路覆盖

开箱即用，覆盖实时采集、实时开发、实时运维全流程，一站式实现实时业务场景的全生命周期落地与管理需求。

Web IDE

强大的 IDE 功能，支持用户使用代码、SQL等多种方式开发实时开发任务，依托于成熟的版本管理功能，实现任务历史版本可视化对比，快速回退，提供数据上传调试和在线调试两种方案，快速验证任务正确性。

统一元数据

与离线数仓共享元数据中心，使用统一数据模型抽象流表和批表，实现元数据流批一体和任务间模型复用，用户无需构造 DDL，专注于核心业务流程，极大提升效能，基于统一元数据提供了全链路血缘。

多数据源适配

支持主流消息队列：包含 Kafka、RocketMQ 等；支持各种异构数据源类型，包括 HDFS、Hive、hbase、kudu、Redis、es、tsdb、MySQL、Oracle 等。

全周期报警监控

提供任务 QPS、Checkpoint、反压、数据延迟、滞留、进程资源等多种维度的指标监控，提供丰富的自定义报警配置，基于任务全生命周期的事件和指标监控，构造任务大盘，提供汇总指标。

实时采集

通过数据库自动入湖和流批一体技术，为业务数据库无感知地构造镜像实时数仓，开发任务时像访问数据库一样访问数据仓库，提供库仓一体化体验，免除复杂的数据库 ETL 操作和鉴权流程，极大提升效能。

湖仓一体

基于 Hive 和流批一体技术支持 upsert，做到分钟级数据延迟，兼容 parquet、orc 等高性能列存格式，将 95% 以上的数仓 AP 场景保留在数据湖中，避免引入 Kudu，Clickhouse，Greenplum 等独立组件加深数据孤岛现象。

任务智能诊断及运维

通过任务全生命周期的事件和指标监控，基于启发式的任务诊断规则，自动识别异常任务，对任务异常提供处理建议，降低任务运维难度，提升整体效能。可根据任务执行情况和资源占用情况，智能对任务进行参数变更，提高资源利用率。

产品架构

应用场景