Kyuubi
1 服务安装
下面使用NDH Manager平台来说明Kyuubi服务安装部署的操作流程。
1. 点击顶部服务标签,进入服务管理页面。在左侧的组件导航栏选择Kyuubi服务后,在服务实例列表栏右端,点击添加服务实例。在弹出的服务安装向导窗口中,输入新安装的服务实例名称和选择服务实例所属的集群名称(服务分组) 2. 下一步进入服务版本选择界面。对于适配了多个版本的服务,可以选择要部署的版本。 3. 下一步选择服务安装的服务器列表 可以从主机列表上看到当前服务器的基本配置和已经安装的组件数量,并据此来选择新服务部署的节点。
4. 下一步设置服务拓扑 Kyuubi服务依赖多个服务组件,下面单独进行说明:
- • Hive Metastore组件提供数据仓库的元数据服务
- • Kyuubi作业以Spark作业运行在Yarn服务上
- • Kyuubi的高可用基于Zookeeper组件来实现。若Kyuubi开启Kerberos,则需要Kerberized Zookeeper
- • Ranger组件提供表级的权限控制
- • Kyuubi服务依赖的组件开启了Kerberos,则自身也需要依赖Kerberos
5. 下一步进入服务配置界面 默认情况下,平台会为服务生成一个配置组;但用户也可以通过新建配置组来自己生成服务的配置组。选择该服务已存在的配置组和版本,将其应用到新部署的节点。点击默认的配置组名称,可以进入配置编辑页面。配置组配置支持版本回溯,通过选择不同的版本号即可应用。进入配置组编辑页面: 可以将随机生成的配置组名称变更为可读的名称。通过搜索栏,能快速定位到要修改的属性名或参数设置。因为我们依赖的Zookeeper服务同时被其他Kyuubi依赖,需要避免Znode路径冲突。所以需要调整kyuubi.znode.name参数,同时可以修改Spark任务提交的相关内存参数等,修改完毕后,应用配置: 配置组修改完毕应用后,可以看到修改的节点配置版本已经修改到最新的版本。若存在其他节点的时候,我们可以通过批量应用配置组功能将配置更新到所有节点 在下拉菜单中选择版本号,在版本联动菜单中选择该修改的版本号,点击全部应用,可以发现,所有组件的配置组版本都已变更为最新的版本号。
6. 下一步开始安装服务 7. 安装完成后的状态如下 若出现安装异常,可以在解决异常后,点击重新安装失败项 若出现安装异常,可以点击此处查看具体的异常堆栈;安装成功后,可以查看到服务的日志 查看日志按钮可以直接查看服务的启动日志 通过日志查看即可确认服务是否正常启动
1.1 启动参数预估
Kyuubi Server 进程默认使用 10GB 内存。一般不需要调整。 其余内存需求取决于启动的 Spark Engine 数量。
2 服务启动\停止
点击上方列表栏服务选项卡,进入组件实例列表service界面,滚动重启service节点即可
3 服务扩容
1. 进入特定服务实例的组件实例列表,点击组件扩容 在弹出得组件扩容向导中,选择要扩容的节点。kyuubi服务必须部署在部署了Yarn Client的节点上。 2. 扩容的节点默认会采用该服务实例的配置组版本,可按需求来调整新加节点的配置: 应用已有的历史配置组配置和版本,通过单独变更配置和版本,确认好配置之后下一步开始进行扩容操作。完成扩容后,可以查看到服务日志。在该服务实例的组件实例列表处看到新增的服务节点。
4 服务卸载
下面以server缩容为例:
进入组件实例列表server界面选定要删除(缩容)的节点,执行删除操作即可
以上内容对您是否有帮助?