“平台管理员”相当于超级管理员,可访问“平台管理”模块,第一个重要作用是项目部署后,创建项目组和项目,构造第一个数据开发人员的活动空间。

项目组与项目


在全平台下,平台管理员可创建多个项目组,多个项目组名称唯一不可重复。

项目创建 - 图1

Step1:创建项目组


对于平台管理员,访问平台主页后,默认会跳转到平台管理页面(后续也可通过顶部导航右侧的“平台管理”进入)。首页需要根据团队特性,创建一个项目组,比如叫“大数据管理团队”、“xx数据组”和“xx部门”等。创建时,需要指定该项目组负责人,该处的人员需要先由部署人员初始化进去。

如下图,可添加用户: 项目创建 - 图2 一般一个项目组就是一个大的业务部门,可能有数仓开发、分析师、算法开发等团队。每个团队可创建一个项目,也可以所有团队共用一个项目。采用不同项目,优势是可以让每个团队自己管理项目内的人员、数据、权限等。弊端是不同项目间有数据依赖时,需要进行较多授权操作。

如下图,为新建项目组: 项目创建 - 图3

说明: 项目组负责人可手动指定其他用户。

Step2:创建项目


本平台大部分产品的按照项目来划分,作为用户工作的空间,具体操作如下:

1)所属项目组

  • 选择所属的项目

2)负责人

  • 负责人将作为项目的管理人员,负责项目内角色管理、成员管理、数据权限、目录权限、队列权限、功能权限,以及项目内的队列、Hive库、Hdfs存储配额等的管理工作。该负责人信息,可在项目管理页修改,也可由项目负责人在项目中心的成员管理中,转交负责人。

3)项目名

  • 需确定用户使用该平台的工作空间的名称,比如“bigdata”、“idc”和“xxx_dw”等。注意:项目创建后,项目名称不可修改。

tips: 4-7 按照如下配置即可,实际该配置项并不在实时计算生效。

4)存储配额

  • 该配置需要和部署人员确定本平台可用的HDFS存储空间配额。在项目新建后,项目负责人或管理员,可在具体某个项目的项目中心发起申请,修改配额。

5)Hive库

  • 新建项目时,会自动生成一个和项目名同名的数据库。注意:Hive库名不可修改。

6)队列名称

  • 需要设置一个yarn队列,以便在离线开发运行Hive SQL时,可以使用yarn的资源。在项目新建后,可在具体某个项目的项目中心再申请其它队列。注意:队列生成后,名称不可修改。

7)资源配置

  • 针对上述设置的yarn队列,需要配置CPU、内存、并行度等信息。可配置额度需要和部署人员确定。后续可在项目中心的资源管理中修改配额。

如下图,为项目管理列表:

项目创建 - 图4 如下图,为新建项目: 项目创建 - 图5

Step3:新建项目审批


上一步配置完毕,即可发起申请。平台管理员发起申请后,会在“流程协作与通知中心”产生一个工单。经由业务线负责人、平台管理员审批后,即可完成项目创建。

如下图,为流程协作与通知中心的工单列表,上述工单的工单来源是“离线开发”,工单类型为“申请新项目”。

项目创建 - 图6

Step4:项目初始化


完成审批后,由对应项目管理员进入实时计算的“平台管理”,选择产品初始化,在下拉选项中选择完成创建的项目,点击确认,完成项目初始化操作。 项目创建 - 图7

结语


通过上述4个步骤,完成项目创建后,则可进行下一步,由项目负责人进行项目级的配置。关于项目负责人需要完成的工作,可查看“账号分配”