Easydata大数据生产力平台,是网易大数据开发与数据治理实践经验的积累,是一站式大数据应用开发和数据管理平台。在沉淀网易大数据建设方法论的基础之上,Easydata大数据生产力平台支撑数据中台建设,同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手,不断提升数据应用效率,助力产业数字化升级。

平台从数据研发、数据治理、数据服务、数据应用等多个和大数据开发人员息息相关的环节入手,提供了丰富的产品矩阵,能让开发人员高效地完成各种开发需求。

此外,结合大数据底座的分析能力、数据管理能力、项目管理能力(包含资源管理、事件跟踪等),Easydata能更好地满足用户平台管理的需求。

产品矩阵

产品简介 - 图1

平台子产品介绍如下:

产品/模块名称 介绍 产品粒度
数据传输 主要用于多种异构数据源之间的数据交换,可实现各部门业务数据在应用层面的互联互通和信息共享。数据传输采用分布式的架构,可以从容应对大数据量的数据传输需求。针对实时计算场景,还提供基于FlinkCDC的实时采集和传输的能力,保证数据实时同步。 项目-集群
数据标准 是指保障数据定义和使用的一致性、准确性和完整性的规范性约束。通俗来讲,数据标准就是对数据(字段)的命名、数据类型、长度、业务含义、计算口径、归属部门等,定义一套统一的规范,保证各业务系统对数据的统一理解、对数据定义和使用的一致性。 项目组
指标系统 指标系统依托离线开发中心,是指标的统一入口,通过定义原子、派生和复合指标,明确指标业务口径和技术口径,解决指标定义不一致、口径不一致和数据来源不一致的问题,实现规范定义,助力数据模型规范设计。 项目组-集群
模型设计中心 主要提供组织数据、刻画数据、规范约束、效果衡量等能力,用于实现数仓的规范化建模,同时指引数仓建设的方向。该产品支持主题域、表分层、字典集、设计规则、维度、度量等模块的管理,支持数仓建设数据大屏展示。 项目组-集群
离线开发 离线开发中心是易数数据生产力平台的基础产品,提供大规模数据存储与计算能力。可选择搭载其它易数产品,完成数据集成、数据研发、数据治理、数据服务等功能,灵活满足客户的各类场景。 项目-集群
实时计算 实时计算是基于 Apache Flink 构建的高性能、一站式实时大数据处理平台,具备全链路覆盖、低时延的特点,广泛适用于流式数据处理场景,通过标准 SQL 服务和更高级的代码定制服务,提供低门槛,专业化的实时开发 IDE。 项目-集群
任务运维中心 任务运维中心是离线开发的必备辅助产品,使命是辅助任务运维人员进行离线任务管理和实例运维的工作,提高运维效率,及时发现问题并提供诊断建议,并为团队运维情况提供评估。 项目-集群
自助分析 是数据开发人员进行数据自助探查数据的场所,可方便快捷的执行自定义的SQL语句,操作如Hive、Doris、MySQL、Oracle、ClickHouse等数据源的表。也能够实现语句分享、代码共享等。 项目-集群
UDF Studio UDF Studio作为数据开发及治理平台的UDF管理服务平台,提供统一、完善、便捷的UDF管理服务,以项目组为管理单位,实现同项目组下公共函数的共建共享;通过函数的发布和申请流程,让函数的注册和使用更加规范和可控,提高函数开发效率,减少维护成本。 项目组
安全中心 统一的功能权限管理,控制中台子产品的使用权限。对于hive表提供库,表,列级别的权限控制。提供动态脱敏能力,对返回的结果进行脱敏处理。 项目组+项目
数据资产地图 在元数据基础上提供的统一数据查询服务,涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据管理等功能,帮助用户更好地查找、理解和使用数据。 项目组
数据治理360 数仓界的360,可以定量评估数据资产的成本、价值、质量。帮助企业优化存储成本,节约计算资源。精细化的数据生命周期管理,帮助企业更好的管理数据从生产到销毁的整个过程。 项目组+项目
数据质量中心 数据质量中心通过事前定义监控规则、事中监控数据的生成过程以及事后评估和问题追溯,围绕完整性、一致性、准确性、有效性和及时性五个方面衡量数据质量,依托离线开发中心的数据质量配置,提升企业数据价值。 项目-集群
数据服务 数据服务提供快速将数据表生成数据API的能力,通过应用授权,供外部应用系统调用API获取数据,且对API进行统一管理和发布。 项目
流程协作与通知中心 该产品是整个平台的工单流转中心,承接了平台的大部分工单,使得平台用户可在统一的地方查看所有与我相关的工单,包括需我处理、我处理、我申请的。 平台
公共资源模块 该模块包括资源组和参数组2个子模块,其中资源组可供离线开发任务使用,参数组可供离线开发、数据传输、数据质量中心、实时计算等产品提供参数集合的功能。 项目组
发布中心 发布中心是本数据平台的自助式统一资源发布平台,通过资源打包、发布、导入、应用等过程,实现在线和离线场景下的跨环境资源发布。针对有多套数据开发环境需求的客户,可以使用发布中心产品。 项目-集群
项目中心 项目中心是项目的配置中心,会展示项目信息,支持项目级别的配置,支持角色管理、成员管理、数据权限管理、目录管理、队列管理、功能权限管理,支持查看审计数据,支持管理项目下的资源等。 项目
平台管理 该模块对平台管理员开放,一般用于平台部署后的初始化后,完成项目组、项目的新建等。 平台
控制台 数据开发及管理平台的控制台部分,目前支持平台成员账号管理、调度日历管理、数据源管理、通知模板管理等。 成员账号管理,平台级;调度日历,有项目级和平台级;数据源管理,项目组级;通知模板管理,平台级。

产品协同

大数据开发的环节众多,而平台的十余个子产品,则分别用于完成大数据开发的各个环节的工作。有数大数据平台,总结出了典型的6大使用阶段:需求输入、数据准备、模型设计、模型开发、质量控制、需求交付,如图所示。

产品使用阶段
产品简介 - 图2