平台管理员相当于超级管理员,可访问平台管理模块,当项目部署后,创建项目组和项目,构造第一个数据开发人员的活动空间。

Step1:创建项目组

对于平台管理员,访问平台主页后,默认会跳转到平台管理页面(后续也可通过顶部导航右侧的平台管理进入)。首页需要根据团队特性,创建一个项目组,比如叫大数据管理团队xx数据组xx部门等。创建时,需要指定该项目组负责人,该处的人员需要先由部署人员初始化进去。

一般一个项目组就是一个大的业务部门,可能有数仓开发、分析师、算法开发等团队。每个团队可创建一个项目,也可以所有团队共用一个项目。采用不同项目,优势是可以让每个团队自己管理项目内的人员、数据、权限等。弊端是不同项目间有数据依赖时,需要进行较多授权操作。

如下图,为项目组管理列表:
平台管理员入门 - 图1

如下图,为新建项目组:
2021-06-24-20-10-34.png

Step2:创建项目

完成项目组创建后,进行项目创建。本平台大部分产品的按照项目来划分,作为用户工作的空间。新建项目时,对部分内容作出说明(后文附有创建页面截图):

1)所属项目组

  • 选择所属的项目

2)负责人

  • 负责人将作为项目的管理人员,负责项目内角色管理、成员管理、数据权限、目录权限、队列权限、功能权限,以及项目内的队列、Hive库、HDFS存储配额等的管理工作。该负责人信息,可在项目管理页修改,也可由项目负责人在项目中心的成员管理中,转交负责人。

3)项目名

  • 需确定用户使用该平台的工作空间的名称,比如bigdata、idc和xxx_dw等。注意:项目创建后,项目名称不可修改。

4)存储配额

  • 该配置需要和部署人员确定本平台可用的HDFS存储空间配额。在项目新建后,项目负责人或管理员,可在具体某个项目的项目中心发起申请,修改配额。

5)Hive库

  • 新建项目时,会自动生成一个和项目名同名的数据库。注意:Hive库名不可修改。

6)队列名称

  • 需要设置一个yarn队列,以便在离线开发运行Hive SQL时,可以使用yarn的资源。在项目新建后,可在具体某个项目的项目中心再申请其它队列。注意:队列生成后,名称不可修改。

7)资源配置

  • 针对上述设置的yarn队列,需要配置CPU、内存、并行度等信息。可配置额度需要和部署人员确定。后续可在项目中心的资源管理中修改配额。

下图为项目管理列表:
平台管理员入门 - 图3

下图为新建项目:
平台管理员入门 - 图4

Step3:新建项目审批

上一步配置完毕,即可发起申请。平台管理员发起申请后,会在流程协作与通知中心产生一个工单。经由业务线负责人、平台管理员审批后,即可完成项目创建。

如下图,为流程协作与通知中心的工单列表,上述工单的工单来源是离线开发,工单类型为申请新项目
平台管理员入门 - 图5

总结

通过上述3个步骤,完成项目创建后,则可进行下一步,由项目负责人进行项目级的配置。关于项目负责人需要完成的工作,可查看项目负责人