Spark2部署说明

服务安装

下面使用 EasyOps 平台来说明 Spark2 服务安装部署的操作流程。

点击顶部服务标签，进入服务管理页面。

在左侧的组件导航栏选择 Spark2 服务后，在服务实例列表栏右端，点击添加服务实例。

在弹出的服务安装向导窗口中，输入新安装的服务实例名称和选择服务实例所属的集群名称（服务分组）

下一步进入服务版本选择界面。对于适配了多个版本的服务，可以选择要部署的版本。Spark2 服务选择2.3.2-bin-ne-0.2.0,以及相关插件版本后，并确定

下一步选择服务安装的服务器列表

可以从主机列表上看到当前服务器的基本配置和已经安装的组件数量，并据此来选择新服务部署的节点。

下一步设置服务拓扑

Spark2 服务的依赖较多，其中 Kerberos 组件为非必要依赖，其余组件为必要依赖。

Spark2 服务有 jonhistoryserver 和 client 两个组件, 其中 jobhistoryserver 需要安装在一个装有 YARN client 的节点上。

在主机列表选择每个组件中待加入的节点。

下一步进入服务配置界面

默认情况下，平台会为服务生成一个配置组；但用户也可以通过新建配置组来自己生成服务的配置组

点击默认的配置组名称，可以进入配置编辑页面（必选）。可参考3.1服务配置章节

配置组配置支持版本回溯，通过选择不同的版本号即可应用

也可以选择该服务已存在的配置组和版本，将其应用到新部署的节点

暂时不需要使用 extra_vars 功能

在默认的配置组中，Spark2 配置会提供7个配置分组，对应 Spark2 各个配置文件中的相关配置。

其中：

spark2_hdfs_dirs 配置组主要覆盖 Spark2 服务的相关 HDFS 路径配置

spark2_local_running_dirs 配置组主要覆盖 Spark2 服务的相关本地路径配置

conf_spark_env 配置组主要覆盖 Spark2 服务的 spark-env.sh 相关配置

conf_spark_defaults 配置组主要覆盖 Spark2 服务的 spark-defaults.conf 相关配置

ranger_hive_security 配置组主要覆盖 Spark2 服务的 ranger-hive-security.xml 相关配置

log4j 配置组主要覆盖 Spark2 服务的 log4j.properties 版本相关配置

linegae_xml 配置组主要覆盖 Spark2 服务的 lineage.xml 相关配置

各类服务地址按照实际部署的节点填写即可，对应的名称和含义可参考服务配置章节

配置组修改完毕应用后，执行下一步就开始服务安装

服务安装完毕后，在服务实例详情页面的组件标题栏的 QuickUrls 下拉菜单栏处访问 Spark2 的 jobhistoryserver web 界面