1 服务安装

下面使用 NDHManager 平台来说明 Spark2 服务安装部署的操作流程。

1. 点击顶部服务标签，进入服务管理页面。在左侧的组件导航栏选择 Spark2 服务后，在服务实例列表栏右端，点击添加服务实例。弹出的服务安装向导窗口中，输入新安装的服务实例名称和选择服务实例所属的集群名称（服务分组） 4.1.png 2. 下一步进入服务版本选择界面。对于适配了多个版本的服务，可以选择要部署的版本。这里以3.1.2.18-bin-netease版本为例说明。 4.2.png 3. 下一步选择服务安装的服务器列表 4.3.png 可以从主机列表上看到当前服务器的基本配置和已经安装的组件数量，并据此来选择新服务部署的节点。 4. 下一步设置服务拓扑 4.4.png Spark2 服务的依赖较多，其中 Kerberos 组件为非必要依赖，其余组件为必要依赖。Spark2 服务有 jonhistoryserver 和 client 两个组件，其中 jobhistoryserver 需要安装在一个装有 YARN client 的节点上。在主机列表选择每个组件中待加入的节点。

5. 下一步进入服务配置界面 4.5.png 默认情况下，平台会为服务生成一个配置组；但用户也可以通过新建配置组来自己生成服务的配置组。点击默认的配置组名称，可以进入配置编辑页面。配置组配置支持版本回溯，通过选择不同的版本号即可应用，也可以选择该服务已存在的配置组和版本，将其应用到新部署的节点。 在默认的配置组中，Spark2 配置会提供7个配置分组，对应 Spark2 各个配置文件中的相关配置。其中：

  • • spark2_hdfs_dirs 配置组主要覆盖 Spark2 服务的相关 HDFS 路径配置
  • • spark2_local_running_dirs 配置组主要覆盖 Spark2 服务的相关本地路径配置
  • • conf_spark_env 配置组主要覆盖 Spark2 服务的 spark-env.sh 相关配置
  • • conf_spark_defaults 配置组主要覆盖 Spark2 服务的 spark-defaults.conf 相关配置
  • • ranger_hive_security 配置组主要覆盖 Spark2 服务的 ranger-hive-security.xml 相关配置
  • • log4j 配置组主要覆盖 Spark2 服务的 log4j.properties 版本相关配置
  • • linegae_xml 配置组主要覆盖 Spark2 服务的 lineage.xml 相关配置 4.6.png

6. 各类服务地址按照实际部署的节点填写即可，配置组修改完毕应用后，执行下一步就开始服务安装 4.7.png 7. 服务安装完毕后，在服务实例详情页面的组件标题栏的 QuickUrls 下拉菜单栏处访问 Spark2 的jobhistoryserverweb 界面 4.8.png

1.1 启动参数预估

一般使用默认配置。根据具体任务调整。

2 服务启动\停止

为了保证服务的可用性，重启服务时需要按照以下顺序：

1. 滚动重启jobhistoryserver节点

2. 滚动重启client节点

3 服务扩容

Spark2 服务的 jobhistoryserver 以及client组件都可以进行扩容，扩容操作流程基本一致。下面以jobhistoryserver 组件的扩容为例进行说明：

1. 进入相应组件的组件实例列表，点击组件扩容。 4.9.png

2. 在弹出的主机列表中，选择待扩容的节点，执行下一步。平台默认会使用之前的配置组来安装服务 4.10.png

扩容时，也可以使用不同的配置组。

4 服务升级

参考4.1.3节

5 服务卸载

下面以client缩容为例，jobhistoryserver操作流程类似：

进入组件实例列表client界面，选定要删除（缩容）的节点，执行删除操作即可 4.11.png