Kyuubi部署说明
Kyuubi部署说明
下面使用EasyOps平台来说明Kyuubi服务安装部署的操作流程。
点击顶部服务标签,进入服务管理页面。
在左侧的组件导航栏选择Kyuubi服务后,在服务实例列表栏右端,点击添加服务实例。
在弹出的服务安装向导窗口中,输入新安装的服务实例名称和选择服务实例所属的集群名称(服务分组)
使用 Yaml 配置文件进行服务安装可以参考手册中相关一键部署章节 |
---|
下一步进入服务版本选择界面。对于适配了多个版本的服务,可以选择要部署的版本。Kyuubi服务目前只支持0.7.0-bin-spark-2.1.3(基于Spark 2.1.3开发)
下一步选择服务安装的服务器列表
可以从主机列表上看到当前服务器的基本配置和已经安装的组件数量,并据此来选择新服务部署的节点。
下一步设置服务拓扑
Kyuubi服务依赖多个服务组件,下面单独进行说明:
Hive Metastore组件提供数据仓库的元数据服务
Kyuubi作业以Spark作业运行在Yarn服务上
Kyuubi的高可用基于Zookeeper组件来实现。若Kyuubi开启Kerberos,则需要Kerberized Zookeeper
Ranger组件提供表级的权限控制
若Kyuubi服务依赖的组件开启了Kerberos,则自身也需要依赖Kerberos
下一步进入服务配置界面
默认情况下,平台会为服务生成一个配置组;但用户也可以通过新建配置组来自己生成服务的配置组
选择该服务已存在的配置组和版本,将其应用到新部署的节点
点击默认的配置组名称,可以进入配置编辑页面(必选)
配置组配置支持版本回溯,通过选择不同的版本号即可应用
进入配置组编辑页面
可以将随机生成的配置组名称变更为可读的名称
通过搜索栏,能快速定位到要修改的属性名或参数设置
因为我们依赖的Zookeeper服务同时被其他Kyuubi依赖,需要避免Znode路径冲突。所以需要调整kyuubi.znode.name参数
同时可以修改Spark任务提交的相关内存参数等,修改完毕后,应用配置
配置组修改完毕应用后,可以看到修改的节点配置版本已经修改到最新的版本。若存在其他节点的时候,我们可以通过批量应用配置组功能将配置更新到所有节点
在下拉菜单中选择版本号
在版本联动菜单中选择该修改的版本号
点击全部应用
可以发现,所有组件的配置组版本都已变更为最新的版本号
下一步开始安装服务
安装完成后的状态如下
若出现安装异常,可以在解决异常后,点击重新安装失败项
若出现安装异常,可以点击此处查看具体的异常堆栈;安装成功后,可以查看到服务的日志
查看日志按钮可以直接查看服务的启动日志
通过日志查看即可确认服务是否正常启动
以上内容对您是否有帮助?