有数大数据开发及管理平台,是基于开源的Hadoop版本,自研的、开源改造的组件,结合网易内部大量业务团队在大数据开发方面积累的经验,形成的一个大数据开发平台。并且在后续内部团队和外部客户的持续使用中,逐步完善。

功能方面

到目前为止,平台已形成了有十余个子产品的产品矩阵,并针对大数据的开发场景总结出了典型的6大使用阶段:需求输入、数据准备、模型设计、模型开发、质量控制、需求交付,在各个阶段会有相应的子产品完成大数据开发的工作内容。

安全方面

平台通过认证(Authentication)、授权(Authorization)、审计(Audit)三个方面来保证数据安全。

  • 认证:采用Kerberos完成用户身份认证;
  • 授权:采用角色授权,支持数据、队列、目录、功能权限,基于Ranger实现对Hive、HDFS的控制;
  • 审计:从资源访问、平台操作、用户访问、项目管理等4个方面跟踪用户行为。

产品架构图

产品简介 - 图1