1 服务安装

下面使用NDHManager平台来说明HDFS服务安装部署的操作流程。

1. 点击顶部服务标签，进入服务管理页面。

2. 在左侧的组件导航栏选择HDFS服务后，在服务实例列表栏右端，点击添加服务实例。

3. 在弹出的服务安装向导窗口中，输入新安装的服务实例名称和选择服务实例所属的集群名称（服务分组）

注意：使用 Yaml 配置文件进行服务安装可以参考一键部署流程

4.1.png

4. 下一步进入服务版本选择界面。对于适配了多个版本的服务，可以选择要部署的版本。这里以HDFS服务3.3.0-1.3.1为例。 4.2.png 4.3.png

可以从主机列表上看到当前服务器的基本配置和已经安装的组件数量，并据此来选择新服务部署的节点。HDFS的最小化部署需要两台机器，推荐部署大于等于三台机器

5. 下一步设置服务拓扑 4.4.png

HDFS服务强依赖Kerberos、Zookeeper、Ranger，平台会推荐默认的依赖，需要注意检查zookeeper是否带kerberos认证。在主机列表选择每个组件中待加入的节点，可对每个组件的节点进行增删。

HDFS包含五个组件：journalnode、namenode、datanode、zkfc、client。journalnode、namenode、zkfc最小安装节点数量均为2，同时zkfc必须与namenode部署在相同节点，journal也推荐与namenode在相同节点，需要注意官方推荐jounalnode部署数量应为奇数，所以最好选择部署3个节点，除namenode所在节点外任意另选一台即可。datanode和client最小部署数量为0。

6. 下一步进入服务配置界面。 4.5.png 4.6.png 4.7.png 4.8.png

默认情况下，平台会为服务生成一个配置组在默认的配置组中，HDFS默认配置会提供以下几个分组：global分组，全局配置；env分组，对应hadoop-env.sh中的配置；core-site分组，对应core-site.xml中的配置；hdfs-site分组，对应hdfs-site.xml中的配置；log4j分组，对应log4j.properties中的配置；ranger_plugin分组，对应ranger插件相关配置 ；对应配置的名称和含义可参考配置管理章节。用户也可以通过新建配置组来自己生成服务的配置组。

7. 点击默认的配置组名称，可以进入配置编辑页面。

配置组配置支持版本回溯，通过选择不同的版本号即可应用，也可以选择该服务已存在的配置组和版本，将其应用到新署的节点。暂时不需要使用高级选项功能。

8. 配置组修改完毕应用后，执行下一步就开始服务安装。安装过程中可查看安装日志，成功后可查看服务日志。

4.9.png

9. 服务安装完毕后，在服务实例详情页面的组件标题栏的QuickUrls下拉菜单栏处访问hdfs namnode的web ui。

4.10.png

2 服务启动\停止

为了保证服务的可用性，重启服务时需要依照以下顺序：

  • 重启standby namenode所在节点的zkfc服务
  • 重启standy namenode 服务
  • 重启active namenode所在节点的zkfc服务
  • 重启active namenode服务
  • 滚动重启journalnode节点
  • 滚动重启datanode节点
  • 滚动重启client节点

3 服务扩容（仅限于datanode和client组件）

下面以client扩容为例，datanode操作流程类似：

1. 进入组件实例列表 client界面，点击组件扩容。 4.1.png 2. 在弹出的主机列表中，选择待扩容的节点，执行下一步。平台默认会使用之前的配置组来安装服务。扩容时，也可以使用不同的配置组。请参考配置组的操作流程。

federation 扩容说明

NDHManager支持hdfs federation扩容，具体使用方式如下：

  • 部署常规hdfs作为base hdfs（包含dn节点）
  • 点击hdfs服务页面的联邦按钮

4.2.png

  • 对于未组成联邦的hdfs可以选择新建联邦，部署新的hdfs与base hdfs组成联邦

4.3.png

  • 其余部署流程与正常部署hdfs实例相同，但是不包含dn节点。注意在配置过程中，需要设置以下配置项，保证与联邦中的其他hdfs实例不同（znode配置项后续已经移除，不需要修改）

4.4.png 4.5.png

  • 新的联邦hdfs实例部署完成后，对于联邦中的其他hdfs需要执行同步配置操作，同时对于所有base hdfs中的dn节点执行refresh操作

4 服务升级

参考 Easy_Ranger 服务升级章节。

5 服务卸载

下面以client缩容为例，datanode操作流程类似：

1. 进入组件实例列表 client界面

2. 选定要删除（缩容）的节点，执行 Delete 操作即可 4.6.png