YARN部署说明
YARN部署说明
服务安装
下面使用 EasyOps 平台来说明 YARN 服务安装部署的操作流程。
点击顶部服务标签,进入服务管理页面。
在左侧的组件导航栏选择 YARN 服务后,在服务实例列表栏右端,点击添加服务实例。
在弹出的服务安装向导窗口中,输入新安装的服务实例名称和选择服务实例所属的集群名称(服务分组)
使用 Yaml 配置文件进行服务安装可以参考参考此文档中的一键部署章节 |
---|
下一步进入服务版本选择界面。对于适配了多个版本的服务,可以选择要部署的版本。YARN 服务选择2.9.2-1.1.1.2并确定
下一步选择服务安装的服务器列表
可以从主机列表上看到当前服务器的基本配置和已经安装的组件数量,并据此来选择新服务部署的节点。
下一步设置服务拓扑
YARN 服务依赖 HDFS, Zookeeper 和 Kerberos 服务。
YARN 服务有 resourcemanager, nodemanager, historyserver 和 client 四个组件, 其中:
resourcenamager 需要部署在两个节点上,一主一备,并且需要在节点提前安装 zookeeper client。
nodemanager 需要最少部署在一个节点上。
historyserver 需要部署在一个节点上。
在主机列表选择每个组件中待加入的节点。
下一步进入服务配置界面
默认情况下,平台会为服务生成一个配置组;但用户也可以通过新建配置组来自己生成服务的配置组
点击默认的配置组名称,可以进入配置编辑页面(必选)。可参考3.1服务配置
配置组配置支持版本回溯,通过选择不同的版本号即可应用
也可以选择该服务已存在的配置组和版本,将其应用到新部署的节点
暂时不需要使用 extra_vars 功能
在默认的配置组中,YARN 配置会提供8个配置分组,对应 YARN 各个配置文件中的相关配置。
其中:
conf_general 配置组主要覆盖 YARN 服务的全局配置
conf_hadoop_env 配置组主要覆盖 YARN 服务的 hadoop-env.sh 相关配置
conf_task_controller 配置组主要覆盖 YARN 服务的 taskcontroller.cfg 相关配置
log4j 配置组主要覆盖 YARN 服务的 log4j.properties 相关配置
yarn_site 配置组主要覆盖 YARN 服务的 yarn-site.xml 相关配置
mapred_site 配置组主要覆盖 YARN 服务的 mapred-site.xml 版本相关配置
yarn_env 配置组主要覆盖 YARN 服务的 yarn-env.sh 相关配置
mapred_env 配置组主要覆盖 YARN 服务的 mapred-env.sh 相关配置
各类服务地址按照实际部署的节点填写即可,对应的名称和含义可参考服务配置章节
配置组修改完毕应用后,执行下一步就开始服务安装
服务安装完毕后,在服务实例详情页面的组件标题栏的 QuickUrls 下拉菜单栏处访问 YARN 的 resourcemanager web 界面和 historyserver web 界面
以上内容对您是否有帮助?