HDFS服务扩容/升级

服务扩容(仅限于datanode和client组件)

下面以client扩容为例,datanode操作流程类似:

进入组件实例列表 client界面,点击组件扩容。

Generated

在弹出的主机列表中,选择待扩容的节点,执行下一步。平台默认会使用之前的配置组来安装服务

扩容时,也可以使用不同的配置组。请参考配置组的操作流程

federation 扩容说明

easyops1.7.1版本开始支持hdfs federation扩容,具体使用方式如下

部署常规hdfs作为base hdfs(包含dn节点)

点击hdfs服务页面的联邦按钮

Generated

展示所有hdfs实例的联邦情况,对于组成联邦的hdfs实例可以进行扩容

Generated

对于未组成联邦的hdfs可以选择新建联邦,部署新的hdfs与base hdfs组成联邦

Generated

进入联邦部署页面,新建联邦和扩容联邦的部署差异在于是否需要填写联邦名

Generated

其余部署流程与正常部署hdfs实例相同,但是不包含dn节点。注意在配置过程中,需要设置以下配置项,保证与联邦中的其他hdfs实例不同(znode配置项后续已经移除,不需要修改)

Generated

Generated

新的联邦hdfs实例部署完成后,对于联邦中的其他hdfs需要执行同步配置操作,同时对于所有base hdfs中的dn节点执行refresh操作

服务升级

目前hdfs支持小版本升级如2.9.2-1.1.1.2升级至2.9.2-1.2.0升级流程如下:

上传新版本jar包至包服务器,注册新版本(2.9.2-1.2.0),如已经存在该版本可以跳过此步骤;

Generated

hdfs高级选项设置ranger_version:0.5.4-1.0.8为升级目标版本所指定的ranger插件版本,如无该变量,则与ranger admin版本一致

Generated

如果有配置变更可以修改配置后应用

Generated

执行变更操作

Generated

点击Action可对其中某个组件进行变更,勾选多个组件实例,点击批量操作可以进行多个组件批量变更

为保证变更期间的服务可用性,需要按照以下顺序进行变更

变更standby namenode所在节点的zkfc服务

变更standy namenode 服务

变更active namenode所在节点的zkfc服务

变更active namenode服务

滚动变更journalnode节点

滚动变更datanode节点

滚动变更 client节点